Kóði í mannslíki / Sanctioned Puppets
Mynd: Axel Frans Gústavsson
Sem unglingur, heillaður af japönskum vísindaskáldskap frá níunda og tíunda áratugnum, sat ég límdur við skjáinn að horfa á Ghost in the Shell eftir Mamoru Oshii. Myndin gerist í framtíðinni, árið 2029, í grófum netpönk-heimi þar sem aðalsöguhetjan, “Major Motoko Kusanagi”, starfar sem vélrænn sérsveitarmaður hjá deild 9—ríkisrekinn herdeild sem berst gegn net- hryðjuverkum í háþróaðri borg sem kallast New Port City. Líkami hennar er algerlega gervilegur, en „draugurinn“ hennar—eða meðvitundin/sálin—stjórnamdi líkama hennar. Þegar dulbúinn hakkari, þekktur sem Brúðumeistarinn, byrjar að ráðast inn í huga vélknúna líkamsparta fólks, dregst Kusanagi inn í flókið net sjálfsins, valdastjórn og óljósra marka á milli manns og vélar.
Ég var samstundis töfraður af því hvernig myndin sýndi hráan Neo-brútalískan arkitektúr og óþægilega samruna manns og vélar. Hún fjallar djúpt um tilvistarkreppur, transhúmanisma og hvað það er í raun að vera manneskja í ofur-tengdu stafrænu samfélagi. Þegar Motoko barðist við glæpamenn með sínum betrumbætta vél-líkama og félagi hennar Batou ók um í gljáandi framtíðar-bifreið, þá fylltist ég ákvenri barnslegri löngun. Tækni netlíkama heillaði mig óendanlega.
Í dag erum við lítið nær vélknúnu augunum sem Masamune Shirow (höfundur upprunalegu myndasögunnar) skrifaði um. Einnig er Cybertruck hönnun Elon Musks langt frá þeirri hönnun sem bílar í New Port City sýna. En Shirow hefur nú samt sem áður haft mikið rétt fyrir sér um nútíma okkar. Kannski það augljósasta er það samfélag sem hann skrifar um, þar sem fólk er sífellt tengt inn á netið. Deild 9 starfar í umhverfi þar sem stöðugt eftirlit á sér stað, sem minnir á þann veruleika sem við nú lifum í—þar sem ríki og stórfyrirtæki nota gagnavinnslu og reiknirit til að stjórna og hafa eftirlit, hvort sem það sé í Kína með trúverðugleikakerfinu (social credit score) eða í vestri með Cambridge Analytica og Facebook. En það er önnur, dýpri spá sem mér finnst áhugaverðari. Brúðumeistarinn í sögunni er háþróuð gervigreind, þekkt sem Verkefni 2501, upphaflega þróuð af ríkisstofnun fyrir þann tilgang að njósna á netinu. Með tímanum öðlast hún meðvitund með því að ferðast um ótal netkerfi. Hún byrjar að stjórna fólki með því að hakka sig inn í „draug“ þeirra, breyta minningum og sjálfsmynd—og breytir þeim þannig í brúður. Í raunheimum er orðið „brúða“ oft notað í samsæriskenningum eða pólitískum umræðum, t.d. þegar stjórnmálamenn gefa upp siðferði sitt fyrir fé. En brúðurnar í Ghost in the Shell líkjast helst ómannlega vélþrælum (bots) nútímans.
Samsæriskenningar líkja oft fólki við brúður, en er hugsanlegt að brúðurnar séu gervigreyndir? Mynd: Pixabay
Á síðustu fimm árum hafa Instagram, X, Facebook og TikTok fjarlægt 4,09 milljarða reikninga sem voru flokkaðir sem falskir eða vélrænt stjórnaðir reikningar. Það er fleiri en íbúar fimm fjölmennustu ríkja heims samanlagt—og um það bil helmingur mannkynsins. Þetta eru einungis tölur sem fyrirtækin hafa opinberlega gefið frá sér; aðrir mats staðlar ganga mun lengra: TikTok eitt og sér greindi frá því að 700 milljón reikningar hafi verið fjarlægðir á fyrri helming ársins 2024. Bottafallið á netinu er óumdeilanlegt. Flest sem vafra um þessa samfélagsmiðla lýsa því hvernig þau sogast inn í botta-mýri þar sem færslur vélrænna reikninga menga upplifunina án þess að bæta neinu við.
Hugtakið „Rækju-Jesú“ (Shrimp Jesus), varð vinsælt sem vísun í gervigreindar-færslu á Facebook sem sýndi Jesú sem rækju. Myndin virðist hafa svifið inn í strauminn af venjulegum færslum frá vinum og síðum. Nýtt hugtak hefur skotið upp kollinum: „Gervigreindar sull“ (AI slop)—myndir og efni búið til af gervigreind, oft með trúarlegum eða tilfinningalegum undirtón til að vekja viðbrögð áhorfendans. Myndirnar eru oft bjagaðar, greinilega falsaðar, en í kommentum má sjá endalausar línur af „Amen“—einsleit, vélræn svör á hvítum bakgrunni. Þessar færslur eru settar inn af botta-reikningum í þeim tilgangi að ná viðbrögðum frá ömmu þinni—en megináhorfendur virðast vera aðrir bottar sem ýta undir sýnileika efnisins á vegg fólks.
Þessi furðulegi bergmálshellir varð kveikjan að kenningu sem reynt hefur að útskýra þetta fyrirbæri og afleiðingar þess: kenningin um „dauða internetið“ (Dead Internet Theory). Hún heldur því fram að stór hluti vefsins í dag—samfélagsmiðlar, umræðuvefir, komment og jafnvel leitarniðurstöður—hafa verið hernumin af bottum, gervigreindar sulli og gegnsæjum reikniritum, með lítið pláss eftir fyrir raunveruleg mannleg samskipti. Sumir telja að þetta hafi hafist 2016–17 þegar öryggisfyrirtækið Imperva greindi frá því að bottaumferð á netinu var otðin umfangsmeiri en umferð manna. Bottarnir leysa ekki mannleg samskipti af—heldur móta þau. Með komu stórra mállíkana (LLMs) eins og ChatGPT hafa þessir bottar fengið dýpri persónu. Þeir birtast nú í kommentum með sannfærandi „mannlegu“ yfirbragði.
Þessir LLM-aukabottar voru meðal annars notaðir í rannsókn við háskólann í Notre Dame, Indiana, þar sem þeir tóku þátt í pólitískri umræðu á samfélagsmiðlinum Mastodon. Rannsóknin sýndi að 58% þátttakenda gátu ekki greint hvort reikningurinn var vél eða manneskja. Eins bottar hafa einnig verið beitt í hernaðaraðgerðum, eins og í „Operation Overload“—rússneskri netaðgerð sem hófst árið 2023 þar sem fjölmargir bottar voru sendir inn á samfélagsmiðla með markmiðinu að rugla og veikja pólitískan umræðugrundvöll lýðræðisríkja í vestrinu; þar hefur aðal þolandi árásanna verið Úkraína. Samkvæmt bandarísku samtökunum Sunlight Project framleiða rússneskir upplýsingaóreiðu vargar að minnsta kosti 3 milljónir greina árlega. Þessar greinar haldast svo í dreyfingu og menga svör AI-hjálpartækja eins og ChatGPT og Google Gemini. Þegar fals-efni hefur verið búið til, senda þeir það til fjölmiðla og eftirlitsstofnana, jafnvel með beiðni um að sannreyna efnið. Þó það sé stimplað sem „falsfrétt“, fær það aukna útbreiðslu í gegnum umræðuna sem hún sjálf myndar.
Hvort sem það er hinn ómerkilegi „Rækju-Jesú“ eða hættulegri „Operation Overload“, þá stuðla þessir bottar að því—með eða án ásetnings—að ryðja mannkyninu út af netinu. Hugtakið „Lurker“ lýsir þeim sem fylgjast með á netinu án þess að tjá sig eða taka þátt. Margir slíkir hafa tjáð sig um hvernig upplifun þeirra hefur breyst á síðustu árum. AI-sullið er andlaust og án samkenndar. Á bakvið stuttlifðu skemmtunina leynist aðeins kóði í mannsbúningi. Vestræna upplifunin af daglegum samskiptum hefur færst fjær því mannlega. Þar sem ungur barþjónn hellti áður upp á kaffi, sér sjálfvirkur búnaður nú um það verk—jafnvel betur. En mannlega snertingin er horfin. Myndskreitirinn sem áður fékk laun fyrir teikningar sínar á nú í höggi við AI sem mótmælir ekki heldur einungis hlýðir og framleiðir. Þessi stuttu, mannlegu samskipti skipta máli—og þegar þau hverfa eru það einmana einstaklingarnir, hellisbúarnir, sem finna mest fyrir því. Þegar félagsleg nánd minnkar, leita þessir einstaklingar í netið—og þar svara bara brúðurnar.
En hvers vegna gera fyrirtækin lítið úr magni falsaðra reikninga í skýrslum sínum? Gervigreindin sem styrkir þessa botta verður sífellt flóknari og erfiðari að greina, sérstaklega með hjálp myndframleiðslutækni. En það er ekki allt. Samfélagsmiðlafyrirtækin hagnast af þessum reikningum. Meta/Facebook sagði árið 2019 að 5% mánaðarlegra notenda væru falsaðir, en sleppti tvítöldum reikningum og þeim sem voru stöðvaðir í skráningarferlinu. Meta lætur vita af því hversu marga falska reikninga það fjarlægir, en ekki hlutfall þeirra miðað við nýja eða virka notendur. Þannig viðheldur það góðri ímynd, en skekkir raunveruleikann. Frá 2018–2022 aflaði Meta meira en 30 milljóna dollara (samkvæmt gögnum sameinað af Wired Magazine) í auglýsingatekjum frá reikningum sem voru merktir sem ósannfærandi eða skaðlegir. Þetta fé var ekki endurgreitt. Með því að halda notendatölum (Monthly active users) háum, en fjarlægja reikninga hægt og rólega, viðheldur fyrirtækið tekjustreymi—óháð því hvort efnið sé skaðlegt eða ekki.
Hin gljáfægða þó grimma framtíðarsýn myndarinnar Ghost in the Shell gaf okkur hvorki nýja bílahönnun né byltingarkennda læknisfræði. En ef einhver spá stóðst, þá er það sú sem varar við Brúðumeistaranum og hans mörgu brúðum—sem líkja sér við mannfólk á meðan þær dreifa sínum fölsku fréttum.
English version
As a young teen, gripped by the Japanese sci-fi of the 80’s and 90’s, I found myself glued to a screen beaming the hit cyberpunk movie Ghost in the Shell by Mamoru Oshii. Set in a cyberpunk future in 2029, Ghost in the Shell follows Major Motoko Kusanagi, a cyborg agent of Section 9—an elite government counter-cyberterrorism unit operating in the futuristic New Port City. The Major’s body is fully synthetic, while her “ghost” (her consciousness or soul) resides within it. When a mysterious hacker called the Puppet Master begins infiltrating the minds of cyber-enhanced humans, Kusanagi is drawn into a complex web of identity, autonomy, state control, and the blurry boundaries between man and machine.
I was instantly enthralled by its showcase of Neo-Brutalist architecture and depictions of humanity conjoined with machines. The film deals heavily with existentialism, transhumanism, and what it means to be human in a digitized, hyper-connected society. As I watched Matoko fight gangsters with cybernetic enhancements while Batou, her partner, drove in his sleek futuristic car, I found myself naively yearning for the future. The prospect of cybernetics enthralled me.
Today we are as far from the augmented eyes of Masamune Shirow’s (the writer of the original comic book series) writings. Even the debated sleek design of Elon Musk’s cybertruck is a far cry from the designs of the cybercars in the futuristic New Port City. Yet there is something the Japanese writer may have predicted within his writings. Perhaps most obvious is the story’s focus on a society of people that are plugged into the internet at all times. In addition, Section 9 operates in a landscape of total surveillance, which I think reflects the current internet’s deep entanglement with government oversight, corporate data mining, and algorithmic control in both the east and west. (see China’s social credit system or Facebook/Cambridge Analytica).
I would however like to highlight a more unusual prediction that the story reflects. The Puppet Master is an advanced, sentient AI known as Project 2501, originally created by a government agency for cyber-espionage. Over time, it becomes self-aware, developing its own consciousness by traversing the vast networks of cyberspace. The Puppet Master manipulates people by hacking into their “ghosts” (consciousness), implanting false memories and identities—effectively turning them into puppets. There are a lot of things that get the label of “puppet” in the world of conspiracy theories or even casual political commentary. I confess that a politician willing to forsake his morals for monetary gain might be a fine description of a puppet, but the puppets described in the story of Ghost in the Shell are perhaps most allegorically akin to today's online bots
Conspiracy theorists often compare people to puppets, but is it possible that the puppets are AI bots? Image: Pixabay
In the last 5 years Instagram, X, Facebook and TikTok removed 4.09 billion accounts flagged as bot/fake accounts. That’s more than the top 5 most populated countries on earth combined or just about half of the current population entirely removed from their platforms. And this is only the publicly disclosed numbers provided by the social media giants with other estimates sitting much higher. TikTok alone disclosed that it had removed 700 million accounts in the first half of 2024 alone. There is no denying the rampant bot population that roams the internet. Most people that browse these social media landscapes report themselves getting stuck in a bog of bot posts that invade their human experience and provide little value in the process.
The term “Shrimp Jesus” became popular as a reference to an AI generated Facebook post depicting Jesus as a shrimp. the post seemed to float through the otherwise regular posts from friends and followed pages on Facebook. An additional term has been introduced, calling these types of generated posts “AI slop”. These are AI generated images, usually assuming a religious or sympathetic hook in order to produce some sort of engagement in the form of a comment or a like. The images are often distorted and obviously AI generated; yet if you open the comment section of these images, a sea of comments would greet you in the form of “Amen”, identical and monotonously displayed on the white background of a comment section. These AI generated images are posted through soulless bot accounts with the intent to farm engagement from your grandma, yet its main audience seem to be other bot accounts, who gladly engage with the post, boosting its numbers.
This unique echo chamber became the subject of a theory that tried to explain the nature and consequences of this phenomena, forming the now called “Dead Internet theory”. The theory posits that much of today’s web—including social media, forums, comment sections, and even search results—is increasingly dominated by bots, AI-generated content, and opaque algorithms, leaving little room for genuine human interaction. Some believers claim this shift began around 2016–17, when Imperva, a cybersecurity company, reported that bot activity had surpassed human activity on the internet. Through posts, comments, content and search engine manipulations, the bot activity does not replace the human interactions but rather manipulates it. With the emergence of large language models like ChatGPT, these bots took on a deeper dimension. The bots were automated and released to social media comments now taking on personalities that could go past the glance of the human users.
These LLM-enhanced bots were used by researchers at the University of Notre Dame in Indiana, US, to engage with humans in a political discussion on the social networking platform Mastodon. The study found that 58% of the participants could not decipher which account was an AI bot. These types of LLM-enhanced bots have also been used by special operations like the documented “Operation Overload”, a Russian cyber-operation that began in 2023, where a mass of bots flooded to social media’s to spread AI generated comments, images, videos, QR codes and even articles and websites. The operation seeks to destabilize communications and political discourse in democratic countries with its main target being Ukraine. A report from the American Sunlight Project estimated that Russian disinformation networks were producing at least 3 million AI-generated articles each year, and that this content was poisoning the output of AI-powered chatbots like ChatGPT and Google’s Gemini. Once the fake and AI generated content is created by Operation Overload, they send emails to hundreds of media and fact-checking organizations, even requesting fact-checkers to investigate if it is real or not. Though it might seem counterintuitive, the real news articles serve as a further promotion of the content, even though it may get the “fake” label stamped on.
Both uses of generative AI, whether it is the slop of “Shrimp Jesus” or the more insidious use of “Operation Overload”, these bots unintentionally serve to drive out humanity from the internet. The term “Lurker” is a descriptive word used for people who simply observe forums, posts and videos without engaging with said content. These internet observers have commented on how their experience in the last years has dramatically shifted. The various AI-generated slop is bereft of humanity. Behind its short delivered entertainment is little but code masquerading as a person. The modern day experience in the west has changed. Human interactions have been made obscure through the advancements of automation. Where a young barista once poured coffee, a dispenser now churns it out in such a manner that the quality of its pour surpasses the pimple covered barista; yet the humanity from the everyday exchange has been lost. The commissioned illustrator is now threatened by a generative AI that does not argue, provides no input, it obeys and generates. These lost interactions of everyday life might not seem serious to the everyday socialites, but in social matters it is the outsiders that are impacted first, the lurkers and the loners of our societies. With fleeting social interactions in the flesh, the lurker looks for society on online forums. There the puppets of foux-sociality converse with each other, leaving little humanity for the shut ins of our society.
So why do companies underreport the totality of their fake/bot accounts? The AI being used in these automated bots has gotten more sophisticated every year since their arrival, making them harder and harder to detect, with image generation assisting the validity of these puppets being real. However, their success in tricking the detections of the social media giants does not paint the whole picture. The truth is that these social media companies benefit from these accounts, no matter how harmful they can be to their human user base. Meta/Facebook in 2019 reported that about 5% of its monthly active users were fake accounts, yet explicitly excluded duplicates and accounts blocked at signup. Meta routinely publicizes how many fake accounts they’ve deleted but not the percentage of overall active or recently created users. This allows them to show action without undermining user-count narratives. Between 2018–2022, Meta generated over $30 million (according to data collected by Wired magazine) in ad revenue from fake-account networks flagged for coordinated inauthentic behavior—money it did not refund. By downplaying fake-user ratios while removing accounts gradually, Meta maintains ad income and revenue growth, even from questionable content, all while these puppet accounts inflate Meta’s monthly active user numbers.
The glistening yet brutal, futuristic depictions of Ghost in the Shell did not give us any material insight on the future of the automotive industry nor the future of the medical ingenuity of cybernetics. Yet perhaps the most important insight it could provide is the warnings of the puppetmaster and its many puppets, masquerading as humans as they sow their disinformation.