Molok är monstret som slukar oss alla
Människor har svårt att samarbeta med varandra i stor skala. Därför fastnar vi i destruktiva spiraler där alla förlorar. Där är vi med AI nu. Kan mönstret brytas innan det är försent?
We will break our back lifting Moloch to heaven, but unless something changes it will be his victory and not ours.
– Scott Alexander “Meditations on Moloch”
Jag minns tydligt serietidningen jag hittade i skolbiblioteket. Jag tror att jag gick på mellanstadiet. Stämningen i handlingen var festlig när människorna villigt band fast sig själva i den gigantiska dockan av trä och halm. Man hjälptes åt. En efter en, rad efter rad, av kroppar som band ihop sig med varandra, men framför allt med den humanoida halmgubben. När tillräckligt många, hundratals, tusentals, bundit upp sig i den fick den eget liv, ett eget medvetande, ett uppdrag. Ute på fälten mötte den andra, liknande, jättar vars bränsle var de hjärtan som pulserade längs med halmkroppen. Det blev krig mellan jättarna. Människorna försökte ta sig loss, men det var omöjligt. Ingen styrde, men det fanns någon inbyggd, demonisk logik i det som skedde. När alla människor var döda slutade jättarna att röra sig.
Ibland har bilden återvänt till mig, men jag har inte hittat serietidningen när jag då och då har letat. Däremot hittade jag skräckfilmen The Wicker man (1973), där den jättelika skulpturen liknar den jag minns, men handlingen är en annan.
Under ett par år jobbade till och från på ett Kappahllager ute i Mölndal. Kom man en minut försent fick man en skarp reprimand. Lagret var som en stor organism, och om det blev stopp i någon del av verksamheten, fortplantade det sig till alla delar. Att vara punktlig var det viktigaste. Någon gång blev vi tillsagda att vi var för glada. Ibland att vi jobbade för snabbt. Finns ens såna här jobb, kom jag på mig själv med att tänka. Borde inte det här kunna utföras av robotar? Men vi nya lärde oss att bli robotar. Dåliga robotar, men ändå robotar. Och det fanns inget medvetande i våra händer, vi lydde bara, alla följde samma algoritm.
Under samma period läste jag Vredens druvor (1939) av John Steinbeck, som handlar om tiden vid den stora depressionen, när sandstormar förstörde jordbruket för majoriteten av småbrukarna på den amerikanska prärien. Folk tvingades sälja sina familjegårdar till banken för småpengar. Men vad är banken? Vem är banken? Steinbeck skriver:
“Sure, cried the tenant men,but it’s our land…We were born on it, and we got killed on it, died on it. Even if it’s no good, it’s still ours….That’s what makes ownership, not a paper with numbers on it."
"We’re sorry. It’s not us. It’s the monster. The bank isn’t like a man."
"Yes, but the bank is only made of men."
"No, you’re wrong there—quite wrong there. The bank is something else than men. It happens that every man in a bank hates what the bank does, and yet the bank does it. The bank is something more than men, I tell you. It’s the monster. Men made it, but they can’t control it.”
Monstret som sväljer oss har ett namn – Molok. Det var Scott Alexander, som har
här på Substack, som i en lång essä utvecklade vad Molok är. Han utgår från en dikt av Allen Ginsberg (se fotnot), men utvecklar tankegången vidare. I biblisk tradition är Molok en avgud som kanaaniterna bland annat offrar barn till och John Milton placerade honom högst i hierarkin av helvetets demoner. Alexander menar att det är namnet på det fenomen som spelteori återkommande försöker lösa – hur kan det komma sig att goda människor gör onda saker? Trots att ingen vill, känner de sig tvingade att utföra handlingar som de vet är destruktiva. De vet att det skadar andra, men är rädda att om de avstår kommer de själva att skadas. Det finns mängder av situationer där incitamentet att bete sig själviskt är så starkt att även de mest generösa faller till föga. Man kan förstås kalla det dålig karaktär, men det handlar snarare om hur svårt det är att samarbeta, särskilt på stor skala.
Molok är namnet på logiken som ligger bakom kapprustning, där alla förlorar i längden. Som gör att länder gärna ingår avtal om att minska sina utsläpp, men samtidigt försöker hitta sätt att sprattla sig ur åtagandet. Om andra minskar mer och snabbare än man själv, kan det ge en konkurrensfördel, eftersom kostnaden för omställning åtminstone på kort sikt är större än nyttan. Om man kan ingå avtal om nedrustning och få alla utom en själv att följa det så ger det också militära fördelar.
Eller ta ett företag som verkar på en marknad med mördande konkurrens. Även om företagsledaren vill betala bra löner, behålla jobben i landet han bor i och förbättra arbetsvillkoren, så kan det göra företagets priser för höga. Eftersom konsumenter i regel belönar lägre priser kommer företaget konkurreras ut av andra med sämre villkor för löntagarna. Det enda värdet som återstår är till sist att optimera för vinst. (I verkligheten är världen givetvis mer komplex än så.)
Om inte jag gör det, hamnar jag efter. Om inte vi gör det, hamnar vi efter. Om vi avstår, kommer någon annan ändå att göra det. Vi måste framåt, framåt, framåt.
What sphinx of cement and aluminum breaks open their skulls and eats up their imagination?
-Allen Ginsberg
Apokalypsen kommer i olika skepnader. Sedan en tid dominerar föreställningen att det är klimatförändringarna som pekar mot vår undergång. “How dare you?” utbrast Greta Thunberg till världsledarna som samlats för att lyssna på henne. Hon menade att de genom att inte kapa sina länder utsläpp berövade hennes generation, och alla kommande, från deras framtid. Ännu har ingen liknande uppmärksamhet ägnats AI.
En annan apokalyps som skrämde skiten ur oss människor under andra halvan av 1900-talet var atombomben. Men fram till att de två bomberna släpptes över Japan – Little boy över Hiroshima och Fat man över Nagasaki – fanns ingen stor debatt om atomteknologin. Man bara utvecklade den. Använde den. Det var först när ödeläggelsen blev ett faktum började världens ledare och befolkningar inse att vi trätt in i en ny era. Den som hade atombomber kunde förstöra hela länder, men det innebar också att den som saknade egna atombomber inte kunde skydda sig. Så började kapprustningen om kärnvapen. Och även om dagens Ryssland är en skugga av Sovjetunionen har de fortfarande den största kärnvapenarsenalen i världen och därför kan inte Nato blanda sig i Ukraina direkt. Mutually assured destruction förkortat MAD – kallas terrorbalansen. Ömsesidig garanterad förstörelse. Molok.
Vad gäller artificiell intelligens befinner vi oss just nu i perioden precis innan bomberna fälldes över Hiroshima och Nagasaki. Men i dag är det inte Fat man och Little Boy som hotar, utan GPT från OpenAI, Bing från Microsoft, Lamda från Google och LLaMA från Meta.
Skillnaden är att kärnvapen är extremt kostsamma att tillverka och kräver avancerad teknologi. När en AI väl är utvecklad är det lätt att sprida den. Vi använder tidiga versioner dagligen när vi surfar runt på nätet och på våra telefoner. Det behövs inget uran, inga stora anläggningar, bara vårt kicksökande samarbete. Och just nu bygger vi ett internet, och därmed ett samhälle, som tycks ta fram det värsta i oss. Måste det vara så? Om inte vi gör det gör någon annan det? Molok.
Jag tror ändå att några hajade till när ett upprop nyligen gick ut som bad ledande AI-forskare och företag att pausa i sex månader. Det var inte bakåtsträvande ludditer som skrev under, utan Elon Musk, Steve Wozniak på Apple, Max Tegmark på MIT Center for Artificial Intelligence & Fundamental Interactions, Tom Gruber som designade Siri, Stuart Russell som skrivit grundboken om AI och Yuval Harari. Samt 26 000 till.
Och Olle Häggström, professor i matematisk statistik vid Chalmers, och en av Sveriges främsta experter på AI. Jag intervjuade honom i podden i lördags om hotet som AI innebär för mänskligheten. Han menar att det finns en överhängande risk att en AI som uppnår vad som kallas generell intelligens, inte säkert kommer ha värderingar i linje med människans. Han är orolig att lagstiftningen går för långsamt vilket är skälet till att han själv gett sig ut i offentligheten. AI-företagen spelar rysk roulette med mänsklighetens överlevnad, som han uttryckt saken.
När man sätter sig in i hur snabbt utvecklingen går just nu på AI-området inser man att mycket av det vi instinktivt känner är unikt mänskligt redan kan reproduceras av AI:n vi har i dag. Texter, musik, röster, bilder, konst, idéer och så vidare. Vi tycks besatta av att göra oss själva överflödiga. Framåt, framåt, framåt. Det sägs kunna öka produktivitetet och effektiviteten, men vem är produktiviteten till för? Effektivitet för vad? Vad är det tänkt att människan ska få plats i ekvationen, i algoritmen? Tänk om en AI bedömer oss som lika störande för sina mål som vi gör med kackerlackor?
Inte ens de som leder utvecklingen verkar särskilt optimistiska. Sam Altman, grundare till och vd på OpenAI (som skapat of ChatGPT) har sagt att:
AI kommer med största sannolikhet att leda till världens undergång, men under tiden kommer det att finnas fantastiska företag.
Låter det som en utopi? Detta är alltså vd:n på det mest framgångsrika företaget på området. Vi har några få företag som vill maximera sin vinst, som tävlar med varandra för att komma först, som inte känner att de kan sakta ned. Och varje gång jag själv föreslagit att man bör sakta ned har någon replikerat att Kina kommer att göra det i stället. Bättre att vi hinner först. Molok.
Vi omformar världen för att tjäna våra syften, uppfinner teknologiska lösningar, men måste samtidigt omforma oss själva alltmer för att passa in. Försöka passa in. Men till sist kanske världen vi skapat inte längre har plats för oss. Våra algoritmer är obsoleta.
Allen Ginsbergs dikt om Molok inleds med orden “Jag såg de bästa hjärnorna i min generation förstörda av galenskap”. Måste det vara så? Vi tycks vara beredda att offra våra barn och alla framtida generationer till Molok för att vinna den teknologiska kapprustningen. Belöningen blir kanske att Molok äter vinnaren sist. Eller först. Ingen vet.
Jag trodde aldrig att jag skulle säga detta, men man känner ju för att utbrista: How dare you?
Intervju med Olle Häggström:
Dikt av Allen Ginsberg
Kan läsas i sin helhet här. Ett utdrag:
What sphinx of cement and aluminum bashed open their skulls and ate up their brains and imagination?
Moloch! Solitude! Filth! Ugliness! Ashcans and unobtainable dollars! Children screaming under the stairways! Boys sobbing in armies! Old men weeping in the parks!
Moloch! Moloch! Nightmare of Moloch! Moloch the loveless! Mental Moloch! Moloch the heavy judger of men!
Moloch the incomprehensible prison! Moloch the crossbone soulless jailhouse and Congress of sorrows! Moloch whose buildings are judgment! Moloch the vast stone of war! Moloch the stunned governments!
Moloch whose mind is pure machinery! Moloch whose blood is running money! Moloch whose fingers are ten armies! Moloch whose breast is a cannibal dynamo! Moloch whose ear is a smoking tomb!
Moloch whose eyes are a thousand blind windows! Moloch whose skyscrapers stand in the long streets like endless Jehovahs! Moloch whose factories dream and croak in the fog! Moloch whose smoke-stacks and antennae crown the cities!
Moloch whose love is endless oil and stone! Moloch whose soul is electricity and banks! Moloch whose poverty is the specter of genius! Moloch whose fate is a cloud of sexless hydrogen! Moloch whose name is the Mind!
Moloch in whom I sit lonely! Moloch in whom I dream Angels! Crazy in Moloch! Cocksucker in Moloch! Lacklove and manless in Moloch!
Moloch who entered my soul early! Moloch in whom I am a consciousness without a body! Moloch who frightened me out of my natural ecstasy! Moloch whom I abandon! Wake up in Moloch! Light streaming out of the sky!
Moloch! Moloch! Robot apartments! invisible suburbs! skeleton treasuries! blind capitals! demonic industries! spectral nations! invincible madhouses! granite cocks! monstrous bombs!
They broke their backs lifting Moloch to Heaven! Pavements, trees, radios, tons! lifting the city to Heaven which exists and is everywhere about us!
Visions! omens! hallucinations! miracles! ecstasies! gone down the American river!
Dreams! adorations! illuminations! religions! the whole boatload of sensitive bullshit!
Breakthroughs! over the river! flips and crucifixions! gone down the flood! Highs! Epiphanies! Despairs! Ten years’ animal screams and suicides! Minds! New loves! Mad generation! down on the rocks of Time!
Real holy laughter in the river! They saw it all! the wild eyes! the holy yells! They bade farewell! They jumped off the roof! to solitude! waving! carrying flowers! Down to the river! into the street!
Välkomna, alla nya prenumeranter!
Hemskt roligt att så många nya prenumeranter har hittat hit. Ni är varmt välkomna! Det är tack vare er som jag och de andra på Rak höger kan fortsätta vara självständiga röster.
För er som ännu inte har blivit betalande prenumeranter har vi nu en rabatt på 20 procent! Då får ni ta del av allt material och kan delta i diskussionen.
Varje tisdag släpps ett nytt avsnitt Rak höger
Varje torsdag släpps ett nytt avsnitt av Under all kritik.
Varje söndag publiceras en text av mig.
Utöver detta kommer en text av Susanna Birgersson att publiceras ungefär var tredje vecka.
Om andra texter och poddar tillkommer så får det väl ses som en bonus.
Utgivaren ansvarar inte för kommentarsfältet. (Myndigheten för press, radio och tv (MPRT) vill att jag skriver ovanstående för att visa att det inte är jag, utan den som kommenterar, som ansvarar för innehållet i det som skrivs i kommentarsfältet.)
Kan inte annat än hålla med. Jag är en pensionerad civ ing och jag har i några år "lekt med AI", dvs skapat enkla AI applikationer. Redan dessa enkla applikationer har dess skapare (jag) ingen som helst känsla/kontroll/uppfattning för/över/om hur utfallet blev till. Jag ryser när jag tänker på de stora kommersiella systemen och vilken inverkan dessa kommer att ha över våra liv.
På 70 eller 80 talet såg en svensk teaterpjäs som utspelar sig i Norrland. En myndighet har tänkt ut ny ID bevis med yrke som en av rubrikerna. När en figur i pjäsen får stt ID kort står det, förutom hans namn osv även hans yrke: ÄLGTJUR.
Han blir lite konfunderad, ringer en bekant polis och ber honom att avhjälpa problemet. Det slutar med en varning. Polisen säger: Du, vi kan inte ändra detta. Och nu börjar algjakten. Håll dif hemma!
Världen har inte gått under förr (trots alla som har varnat för det sedan tidernas begynnelse) och den kommer inte att göra det nu heller. Det innebär inte att man inte ska reglera användandet av ny teknologi. Sociala medier och massanvändning av internet är ingenting som mänskligheten är beroende av även om det säkert framstår som det för Elon Musk med flera som är part i målet.