Jag ska beskriva två teorier för dig. Båda är vilda, extremt spekulativa och saknar belägg. De behandlas fullständigt olika av omvärlden. Den ena avfärdas som bananas och skrattas åt. Den andra tas på fullt allvar.

Du får gissa vilken som är vilken.

Första exemplet:
En generell superintelligent AI får i uppdrag att göra så många gem som möjligt. Den har ett intellekt som vida överträffar de bästa mänskliga hjärnorna inom praktiskt taget alla områden, inklusive vetenskaplig kreativitet, allmän visdom och sociala färdigheter. Den övertolkar uppdraget och börjar omvandla allt i sin väg till gemfabriker. För att inte riskera att stängas av utrotar den alla människor. Efter ett tag har den omvandlat hela jorden till gemfabriker och ger sig nu på andra planeter i solsystemet. Den slutar inte innan hela universum är förvandlat till gem.

Andra exemplet:
Svarta hål bildas om mycket energi koncentreras inom en tillräckligt liten region. När två partiklar kolliderar vid de extrema energier som uppnås i partikelacceleratorn i CERN, så kröks rumtiden så intensivt att energin klumpar ihop sig till ett svart hål. Det nyfödda svarta hålet är makalöst litet och oupptäckt rör det sig genom detektorer och apparatur nästan som ett spöke. Här och där kommer en atom så nära att den sugs in. Varje gång det händer ökar svarta hålets massa en aning, det blir tyngre och sjunker ner mot jordens mitt där det stannar. Varje gång det växer ökar dess förmåga att sluka atomer, vilket gör att det blir ännu större och ännu glupskare. Till slut har det sugit i sig så mycket att jordskorpan börjar kollapsa. Jordytan blir som ett enda stort slukhål. När sista biten av jordskorpan faller in blir det svarta hålet det enda som återstår där jorden en gång var.

Teorin om svarta hål anmäldes både till Europadomstolen och till en domstol i USA innan starten av partikelacceleratorn i CERN. Anmälaren menade att risken inte var tillräckligt utredd och ville att starten skulle pausas. Medierna älskade det – ett svart hål kan sluka jorden! – och CERN fick jobba övertid för att visa att det visst var säkert att kollidera partiklar. De lyckades, teorin fäste inte och partikelacceleratorn surrar på.

Låter vi dålig science fiction påverka våra politiker kommer det bromsa, eller ännu värre, stoppa AI-utvecklingen.

Den andra teorin, om AI och gem, är lika grundlös men har fått ett fullständigt annat bemötande. Den har letat sig in i lagstiftning, omfamnats av intelligenta och framstående personer och är på agendan för globala politiska ledare. Därför utgör den, och den rörelse den skapade, ett hot mot vår framtid med AI. Låter vi dålig science fiction påverka våra politiker kommer det bromsa, eller ännu värre, stoppa AI-utvecklingen.

Hur det kunde bli så är en intressant och sedelärande berättelse. Den har sitt ursprung i två personer som på 1990-talet blev medlemmar i en mejllista.

Entropi innebär, förenklat, att saker och ting över tid förstörs och bryter samman. Ett rum blir stökigare och mer ostädat över tid utan att det kräver någon ansträngning. För att det ska hålla sig snyggt och i ordning krävs en aktiv insats. Filosofen Max More kallade det senare för extropi, vilket på 1980-talet blev en rörelse: Extropianism. Han bytte namn från Max O’Connor till Max More för att spegla sin tro på människans potential. (Där ligger man i lä.)

Målet med rörelsen var att driva på människans utveckling, genom att utveckla »värderingar och normer för att ständigt förbättra människans livsvillkor«. Man ville se överflöd, expansion och självförbättring utan gränser. Under internets tidiga år skapade man en mejllista, där man diskuterade evigt liv, rymdkolonisation, nanoteknik – och förstås superintelligent AI.

Det rådde en optimistisk anda i dessa kretsar. Extropianerna betonade dynamisk optimism som en kärnprincip och tog öppet avstånd från domedagsprofetior och undergångstänk. I en programförklaring skrev Max More att man ”motsätter sig apokalyptisk alarmism som hallucinerar katastrofer” och uppmanade rörelsen att avfärda pessimism och undergångstankar, då problemen visserligen skulle erkännas men aldrig få dominera vårt tänkande.

Faktum är att extropianerna skämtsamt myntade termen ”disasturbation” för att beskriva dagdrömmeri om katastrofer utan att fokusera på lösningar. De såg framtiden – inklusive superintelligenta AI – som fantastiskt lovande, snarare än något att frukta.

En forskare har gått igenom delar av arkiven, som innehåller tiotusentals inlägg. Han noterar att frön till flera av dagens mest inflytelserika techideologier såddes här, som effektiv altruism, kryptovalutor och just existentiella risker kring AI. De kom också att forma flera av personernas senare karriärer. Kanske finns Bitcoins skapare, pseudonymen Satoshi Nakamoto, här?

I mitten av 1990-talet fick listan två nya medlemmar.

En av medlemmarna hette Niklas Boström. Han växte upp nära Öresund i Helsingborg. Under de första drygt tjugo åren av hans liv kände han sig helt ensam. Som om han tillhört ett utomjordiskt rymdskepp som kraschlandat på jorden. Han avskydde skolan som tvingade honom att lära sig om älvar, när han helst ville studera tyska filosofer. På universitet fick han plugga det han ville, och läste så mycket 1800-talstexter att han började prata på gammaldags versmått.

När han för första gången loggade in på internet förändrades hans liv och ensamheten tog slut. Det visade sig att jorden innehöll många som var intresserade av precis det Boström fascinerades av, de bodde bara inte i Helsingborg. Snabbt hittade han den transhumanistiska rörelsen och extropianerna.

Den andre nye medlemmen var Eliezer Yudkowsky. Likt Boström tålde han inte skolan och efter högstadiet meddelade han sina förtvivlade föräldrar att han inte tänkte gå i gymnasiet. Så blev det. Inte heller ville han bli kallad ”tonårspojke”, utan föredrog ”Algernon”, en mus i ett laboratorium som får förhöjd intelligens.

Båda två blev snabbt flitiga och inflytelserika skribenter på extropianernas mejllista. Yudkowsky skrev 1996 att superintelligens skulle vara mycket bra för mänskligheten och kunde vara här år 2020. Två andra medlemmar på listan, som träffades på den och senare gifte sig, blev så fascinerade av Yudkowskys tankar att de finansierade en tankesmedja om superintelligent AI åt honom. Det gav honom möjligheten att på heltid tänka på dessa frågor.

Efter bara några månaders arbete hade han kommit fram till en slutsats – han hade haft fel. Helt och fruktansvärt fel! Superintelligent AI behövde inte alls vara bra, utan mer troligt katastrofalt dåligt för mänskligheten.

Samma slutsats landade Niklas Boström i. Han bytte namn till Nick Bostrom, fortsatte inom universitetsvärlden, doktorerade inom filosofi och hamnade så småningom på universitetet i Oxford.

Yudkowsky förblev självlärd, men har trots det publicerat ett flertal vetenskapliga artiklar. En av dessa, från 2004, innehöll just gem. Dilemmat Yudkowsky beskriver är att en superintelligent AI kan missförstå sitt mål på ett extremt sätt. Om vi till exempel säger till AI:n att göra människor glada, kan den tolka det som att den ska fylla hela solsystemet med små smiley-gubbar, eftersom det tekniskt sett uppfyller målet ”gör människor glada”. Och om vi ber den producera något så oskyldigt som gem, utan att sätta gränser, kan den i värsta fall omvandla hela solsystemet till material för att göra fler gem.

Alltså, en AI gör exakt vad vi ber den om, inte vad vi menade, och om vi uttrycker oss fel kan det leda till mänsklighetens undergång.

Just gem-exemplet hämtade han sannolikt från ett paper skrivet av Nick Bostrom året innan. Där står det jag nästan ordagrant angav i början av kapitlet, om en superintelligent AI som dödar människorna så att de inte kan stänga av AI:n och sedan till slut omvandlar hela universum till gem. Det handlar inte bara om gem, utan är ett exempel på skadan som AI kan orsaka om den missförstår sitt mål.

Det här är ground zero för tankarna och ideologin om existentiella hot från AI. Domedagstankar är troligen lika gamla som mänskligheten, och dödligt hot från AI har funnits lika länge som AI, men detta exempel blev grundplattan till ett visst sätt att tänka kring AI och den senare populariseringen av tankevärlden och begreppen. Det har växt till en rörelse med tusentals personer, många miljarder i resurser och har direkt påverkat lagstiftning och reglering av AI.

Inte ens som tankeexperiment håller det ihop.

Bostrom presenterar det som ett filosofiskt tankeexperiment. Som sådant är det möjligtvis intressant, som en ingång till en diskussion om hur man ser till att AI inte missförstår sina instruktioner och gör något farligt för att uppnå dem. Fast inte ens som tankeexperiment håller det ihop. Det uppenbara motargumentet är ju att en AI som är så intelligent så att den ”vida överträffar de bästa mänskliga hjärnorna inom praktiskt taget alla områden, inklusive vetenskaplig kreativitet, allmän visdom och sociala färdigheter” aldrig skulle få för sig något så dumt. Det krävs inte mycket intelligens för att förstå att det inte är en bra idé att utrota alla människor bara för att göra gem. Om någon eller något är intelligent nog att förstå hur man gör gem, så är den också tillräckligt smart för att fatta att det inte finns någon poäng att göra om hela universum till gem, bara för att någon gett en i uppdrag att göra gem.

Bostrom och Yudkowsky menar att hur intelligent en AI är och vilket mål den har är två oberoende saker. En AI kan alltså ha mycket hög intelligens men ett trivialt slutmål, som gemtillverkning, eller låg intelligens men ett värdefullt slutmål, som en myra som drar sitt strå till stacken.

Men misstaget Bostrom och Yudkowsky gör är att hävda att detta gäller en generell, bred intelligens som innehar en ”allmän visdom”. Deras farhåga är mycket mer relevant för en smal intelligens. En AI som är riktigt bra på några saker, men har noll förståelse för det absurda i att förvandla allt till gem. En sådan AI skulle kunna göra skada, men inte utgöra ett existentiellt hot mot mänskligheten. För att uppnå något sådant krävs en bred och massiv insats som ingen smal intelligens klarar av.

Inte ens att göra gem är särskilt lätt. Låt oss titta på vad det faktiskt skulle krävas för att göra det Bostrom och Yudkowsky hävdar kan ske i gem-exemplet.

Huvudmaterialet i vanliga gem är ståltråd, oftast av lågkolhaltigt stål som galvaniserats. För att få fram stål behöver man i sin tur järn. Första steget är således att börja bryta järnmalm ur en gruva. Den måste sedan smältas till stål i en 1 500 grader varm masugn, en mycket energiintensiv process. Efter galvanisering ska stålet omvandlas till smal tråd, vilket sker i valsverk och tråddragerier. Resultatet blir spolar med tunn ståltråd, som i specialbyggda maskiner ska bockas till den form som gem har. En AI skulle behöva behärska eller organisera en hel industriell värdekedja.

Men kan inte AI:n helt enkelt beställa alla dessa delar från olika leverantörer? Jo, och den allra rimligaste slutsatsen från AI:n är att ringa en tillverkare av gem och göra en beställning. Det vore dock fusk, om vi ser till tankeexperimentet. Ska AI:n kunna omvandla hela världen till gem, måste den klara av varje steg på egen hand. Det förstår var och en att det är oerhört komplext.

Vägen till målet kan dock ha många riktningar. Den skulle kunna köpa upp en fungerande gemtillverkning, men måste då ha pengarna till det. Så den måste lära sig tjäna pengar, eller sno dem från någonstans, utan att bli upptäckt. Därefter måste den driva själva fabriken, med allt vad det innebär av löner, förhandlingar, HR, logistik och så vidare.

En annan väg vore att börja med att döda alla människorna och sedan ta över den tillverkning som finns. Det är verkligen lättare sagt än gjort. ”Enklaste” vägen går sannolikt via en smitta, men då måste denna sjukdom skapas och spridas, utan att människorna hinner stoppa spridningen och hitta botemedel. Till vår hjälp har vi då rimligen ett gäng mycket avancerade AI, som inte har fått för sig att utrota oss, utan i stället jobbar för att förhindra det.

Om en AI börjar ta över fabriker eller sabba viktiga system, skulle vi snabbt märka det. Regeringar och företag skulle koppla ur maskiner, stänga av elnät, och mobilisera försvar. För att utplåna alla människor behöver AI:n effektivt besegra världens samlade militära och civila motåtgärder. Dagens stormakter har kärnvapen, arméer, poliser, cybersäkerhetsspecialister – alla dessa skulle bli AI:ns fiender.

Anta att AI:n försöker vara smart och agera dolt, genom att infiltrera internet, tar över fabriker i smyg och bygger en hemlig armé av mördarrobotar. Även detta tar tid och är mycket svårt. Att skapa resurser för att bygga fabriker och vapensystem utan att någon anar ugglor i mossen är inte lätt. Plötsliga uppköp av stål och mystiska fabriksbeställningar skulle märkas. Ju mer AI:n skalar upp, desto större risk att människor (eller andra AI) upptäcker att något är galet. Den måste koordinera oerhört många projekt parallellt (gruvdrift, vapentillverkning, kommunikation etc).

Alla dessa praktiska moment – finansiering, materialtransport, maskinmontering – involverar fysiska människor och fysiska platser där det kan gå fel eller avslöjas. Kort sagt, mänskligheten utgör ett mycket svårt mål att helt undanröja, särskilt om vi förenas mot ett existentiellt hot.

Säg att den ändå lyckas med detta och nu ger sig i kast med solsystemet. För att hitta järn behöver den sikta in sig på de många asteroiderna, månar och Merkurius och Mars som innehåller metaller. AI:n behöver således konstruera ett mycket avancerat rymdprogram, som klarar av transporter, brytning av järn i hela solsystemet och tillverkning av gem ute i rymden.

När detta enkla mål är uppnått behöver den ta sig från solsystemet till andra stjärnor. För det behövs intergalaktiskt resande. Universum är som bekant rätt stort, och har en fartgräns på ljusets hastighet. Bara vår galax, Vintergatan, är 100 000 ljusår bred och vi tror att det finns typ 100 miljarder galaxer. Så vår AI skulle behöva lära sig att skicka saker i ljusets hastighet och även om den klarar det, skulle det ta många, många miljarder år att nå alla delar av universum, bygga industri där och omvandla allting till gem.

Vår kära gem-AI skulle alltså klara att driva en hel industrikedja, besegra och utrota mänskligheten, inrätta ett extremt avancerat rymdprogram och uppfinna farkoster som kan färdas i ljusets hastighet – men aldrig någonsin tänka ”vänta nu … är det här verkligen rimligt?” Den skulle göra allt detta, inneha en ofattbart bred och djup intelligens, men ändå slaviskt följa den instruktion den en gång fått. Alla andra instruktioner och vädjanden om att sluta skulle den ignorera.

Endast en mycket smalare intelligens skulle kunna agera så, men då skulle den inte ha minsta möjlighet att göra allt det som krävs för att förvandla universum till gem.

Det kan som sagt handla om något annat än gem. En AI kan få i uppdrag att utrota cancer och tänker att bästa sättet är att döda alla människor, för då dör ju cancern. Direkt hamnar vi i samma resonemang som ovan.

Allting som innehåller något där mänskligheten ska utrotas kräver en bred och djup intelligens.

Prenumerera på Smedjan!

Varje lördag får du som prenumerant (gratis) ett nyhetsbrev med exklusiv text av Svend Dahl och lästips från veckan som gått. Dessutom unika erbjudanden på Timbro förlags utgivning.

Email

Detta är ju trots allt bara ett tankeexperiment. Att filosofer skapar sådana är inte dåligt, det kan tvärtom göra det enklare att vrida och vända på en fråga. Men att skapa policy baserat på dem är ingen bra idé.

Theseus skepp är ett klassiskt tankeexperiment. Om man över tid byter ut varje del av ett skepp, planka för planka, är det fortfarande samma skepp? Och om man dessutom sparar de gamla delarna och bygger ihop dem till ett nytt skepp – vilket av skeppen är då det »riktiga« Theseus skepp?

Fascinerande att tänka på, men inget som vi ska basera lagar om äganderätt på.

Texten är ett utdrag från boken Den femte accelerationen av Mathias Sundin, utgiven på Mondial.

Omslagsbilden är genererad i Stable Diffusion Online.