”Jag har tänkt mycket kring liv och död på sistone. Nu är det antagligen jag som står näst på tur i min familj. Men jag gissar att resten av mänskligheten stryker med ungefär samtidigt − efter över hundratusen år på vår planet. Jag tror nämligen att den artificiella intelligens som vi försöker bygga antagligen kommer utplåna hela mänskligheten ganska snart,” sa Max Tegmark i öppningsminuten av sitt Sommar i P1.

Jag har ju inte hört alla Sommarprogram, men gissar att den öppningen toppar det mesta. Det finns inga om och men, inget ”det finns en 10-procentig risk” eller liknande brasklappar. Tegmark tror att det är kört, inom kort. Vi har kanske ett par, tre årtionden kvar, sen är det finito. Det är ju själva definitionen av domedagsprofet. Så här står det i Svenska akademins ordlista om domedagsprofet: ”Person som förutsäger jordens undergång.”

Det är inte första gången han sagt detta. I en intervju i Lex Fridmans podcast sa Tegmark liknande saker. Den är värd att lyssna på i sin helhet. Max framstår som en sympatisk person, inte minst när han pratar om den fina relationen han hade med sina föräldrar. Det är också tydligt att hans engagemang i AI-frågorna är djupt och äkta. Han får en fråga om huruvida han håller med AI-forskaren Eliezer Yudkowsky, som Lex Fridman intervjuat tidigare. Yudkowsky har i flera år hållit på med AI och säkerhet och har rätt extrema åsikter. I Time skrev han att det inte räcker med att pausa AI-utvecklingen − den måste stoppas. Och om den stoppas så ska man inte utesluta bombanfall mot AI-labb som inte lyder order. Så här svarade Tegmark om Yudkowsky och det existentiella hotet från AI:

“För det första har jag enorm respekt för Eliezer Yudkowsky och hans tänkande. För det andra delar jag hans syn att det finns en ganska stor chans att vi inte kommer att klara oss som människor. Det kommer inte att finnas några människor på planeten inom en inte alltför avlägsen framtid. Och det gör mig väldigt ledsen. Vi har precis fått en liten bebis och jag frågar mig själv hela tiden, hur gammal kommer han ens att bli?”

När han säger det sista börjar han nästan gråta, vilket jag verkligen kan förstå, eftersom han känner som han gör. Inget får mig lättare till tårar än allting som har med min lille son, Teddy, att göra. Både glädje och sorg.

Tegmark tror att det mest sannolika är att alla människor, alla han känner, alla han älskar, inklusive hans son, kommer att dö inom en inte alltför avlägsen framtid. På grund av AI. En sådan övertygelse och känsla i kroppen påverkar rimligen ens tänkande. Jag skriver inte det för att förminska vare sig det han känner eller tänker, men när vi lyssnar på honom – och jag tycker vi ska lyssna, även om man inte håller med – så ska vi komma ihåg att detta är hans inställning och sinnesstämning. Om Max Tegmark vore vem som helst i AI-debatten så spelade det mindre roll. Men nu är han en av de ledande personerna i världen inom detta fält.

Trots att Max Tegmark tagit på sig rollen som domedagsprofet är hans argument värda att granska. Eller kanske just därför. I sommarpratet sammanfattar han det i tre punkter: Illvillig användning, AI-konkurrens och felriktad AI. Vi tar dem en i taget.

1. Illvillig användning

Det här argumentet bygger på att en person eller grupp av personer har kontroll över en superintelligent, eller en annan mycket kraftfull AI. Den använder de för att döda alla människor, inklusive sig själva (får man anta.) Det är samma argument som Chalmers-professorn Olle Häggström är inne på i en DN-intervju.

Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?

Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation. Om OpenAI går på som de gjort förut och släpper en GPT-5, kanske någon gång nästa år, så är jag inte säker på att vi överlever det.

Detta tankeexperiment hoppar över steget att faktiskt bygga en superintelligent AI. Vi ska bara förutsätta att den vips finns där, dessutom i ondskefull Lex Luthor-form. Det är just i skapandet av denna AI som problem uppstår. Det är faktiskt väldigt osannolikt att en person eller organisation, även med massiva resurser, kan samla ett team som bygger detta före alla andra och bättre än alla andra. Wireds grundare, Kevin Kelly, förklarar varför i boken What technology wants (Penguin Books, 2010):

Ju mer sofistikerad och kraftfull en teknik är, desto fler människor behövs för att göra den till ett vapen. Och ju fler människor som behövs för att göra den till ett vapen, desto mer fungerar samhälleliga kontroller för att avvärja, eller mildra, eller förhindra, skada från att hända. Jag lägger till en ytterligare tanke. Även om du hade en budget för att anställa ett team av forskare vars jobb det var att utveckla ett artutrotande biologiskt vapen, eller stänga ner internet, så skulle du förmodligen fortfarande inte kunna göra det. Det beror på att hundratusentals människoår av ansträngning har lagts ner på att förhindra att detta händer, i fallet med internet, och miljontals år av evolutionär ansträngning för att förhindra artens död, i fallet med biologi. Det är extremt svårt att göra, och ju mindre det skurkaktiga teamet är, desto svårare. Ju större teamet är, desto mer påverkas det av samhälleliga influenser.

Det är alltså svårt för någon med ett litet, eller stort, team att själva komma så långt i utvecklingen. Dessutom utan att bli upptäckta.Psykologiprofessorn Steven Pinker skriver i Upplysning nu:

Det viktiga är att inte falla för tillgänglighetsbiasen och anta att om vi kan föreställa oss något hemskt, är det oundvikligt att det kommer att hända.

2. Utkonkurrerade av AI

Här är Tegmarks argument att faran ligger i det marknadsekonomiska systemet som bygger på fri konkurrens. I den fria konkurrensen, som han kallar en religion som nästan inte får ifrågasättas, kommer företag att byta ut folk mot maskiner. Dessa företag kommer prestera bättre än de som använder människor. Företag som har en AI som vd kommer gå bättre än företag som har en människa som vd. Likaså kommer länder med AI-ledare konkurrera ut människoledda nationer. På så sätt kommer AI ta över världen.

Vi kommer därefter hamna i en AI-styrd polisstat med robotar som patrullerar. Människorna kommer av AI:n ses som meningslösa köttklumpar som gör av med en massa värdefulla resurser. Varför skulle de inte avverka oss, som vi avverkar regnskogen, frågar Tegmark retoriskt? Jo, om de av någon anledning tyckte att vi kunde få finnas kvar − men varför då? Det har AI-forskare i tio år gått bet på, säger han.

Varför skulle de inte avverka oss, som vi avverkar regnskogen, frågar Tegmark retoriskt?

För det första tycks han ha en mycket förenklad bild av konkurrens, både mellan företag och länder. Ett land som leds av en AI skulle kräva att landet förändrades i grunden. Dess grundlagar skulle behöva ändras, av människorna, för att släppa fram en AI som ledare. Skulle denne AI-ledare då leda en demokratisk regering eller en diktatorisk? Om det är en AI-diktator den vill bli så skulle det inte bli särskilt lätt att på demokratisk sätt ta över makten. Om den gör det med vapen skulle resten av världen rimligen reagera mycket kraftigt, så den skulle behöva vara så kraftfull att den lyckas bygga – en hemlig – militär förmåga många gånger starkare än världens övriga militära styrkor.

Men vi säger att ett land på något sätt fått en AI som ledare. Hur skulle då detta land “konkurrera ut” andra länder? Det är inte så det funkar. Att USA är världens största ekonomi gör inte Sveriges ekonomi utkonkurrerad, bara för att vår är mindre. Kina har kunnat gå från en mycket svag ekonomi till en mycket stark, utan att USA tappat sin förstaplats. Inte heller har USA:s ekonomiska styrka hindrat Kina från att växa. Konkurrens kan såklart innebära att ett företag eller ett land är bättre på att göra något och därmed konkurrerar ut ett annat företag, eller en bransch inom ett land. Men om man har en öppen ekonomi, med konkurrens, så ersätts detta av något annat, något bättre.

Ekonomi är inte ett nollsummespel. Kakan växer. Om vi har AI som gör oss effektivare, smartare, snabbare och mer produktiva, så gör det att kakan växer. Precis som ångmaskiner gjorde oss mer produktiva på 1700-talet.

Men säg att vi når en punkt, någon gång i framtiden, där AI kan göra allting bättre än vi. Det skulle vara en värld med ett extremt överflöd, jämfört med i dag. Vi skulle vara oerhört mycket rikare, kunna bota de flesta eller alla sjukdomar, och leva långa, hälsosamma liv, på flera planeter och på andra ställen runt om i rymden. Vi människor, inte bara AI:n, skulle vara smartare. Vi skulle ha fantastisk underhållning, kreativ kultur och mängder av nya uttryckssätt. Den som vill jobba med något kan göra det. Det finns resurser till det. Vill någon inte jobba utan bara roa sig, så kan den göra det. Jag kan tänka mig en värre framtid.

3. Felriktad AI

Argumentet är att en superintelligent AI kan ha andra mål än vi, där vi i är i vägen för att AI:n ska uppnå dessa mål. Tegmark jämför det med insekter. Vi hatar inte insekter, men om deras bo är i vägen för ett husbygge så ägnar vi inte dem en sekunds eftertanke. Det ryker för att göra plats för det vi vill bygga där. Vi har ännu inte löst detta problem, säger han. Vi måste få AI:n att förstå våra mål, anamma dem och bibehålla dem.

Fast hans exempel är ju inte helt sant. Vi bryr oss om myror. När vi bygger nya hus görs en undersökning av marken. Finns där vissa arter, bland annat en del insekter, blir bygget inte av eller så måste situationen för djuren lösas. Vi bryr oss ännu inte om alla djur och småkryp, det har Tegmark rätt i, men det är framförallt en resurs- och kunskapsfråga. När vi har tillräckligt mycket resurser och kunnande bryr vi oss även om myror. 

I rika länder har vi råd att bry oss om naturen. Vi skapar naturreservat, skyddar med lagar, lägger pengar på tunnlar för grodor eller broar för storvilt. Effektivare jordbruk gör att vi behöver allt mindre jordbruksland, vilket också lämnar plats för djur och natur. Ett flertal arter som varit nära utrotning har vi vänt utvecklingen för. Ett tag fanns bara cirka 5 000 knölvalar kvar, men nu är antalet över 135 000. Sillvalen har gått från 25 000 djur till över 170 000. Blåvalen från 2 000 till över 17 000. Det har inte funnits geparder i Indien på 70 år, men nu återintroduceras de. Som minst fanns bara ett hundratal indiska noshörningar kvar, men nu är de över 4 000. Det är inte bara anekdotiska bevis, i Living Planet Index från WWF ser vi att minskningen av bestånden planat ut.

Även om en AI såg oss som en myra, skulle den både ha resurser och kunnande att förstå värdet av oss och ta hand om oss.

Anledningen är att vi har kunskap och förståelse nog att ta bättre hand om djur. Vi förstår värdet för oss och naturen. Dessutom har vi råd och allt färre människor lever i fattigdom och är hungriga varje dag. När man äter sig mätt, får utbildning, sjukvård och ändå själv och tillsammans i samhället har pengar över kan man bry sig om annat, som inte är livsavgörande. Föreställ dig ett samhälle där vi är hundra gånger rikare och hundra gånger kunnigare än i dag. Vi skulle ha resurser och möjligheter att ta hand om vartenda litet småkryp. Så även om en AI såg oss som en myra, skulle den både ha resurser och kunnande att förstå värdet av oss och, om vi vill, ta hand om oss.

Men om AI:n är en psykopat och saknar känslor både för myror och människor? Tegmarks syn kring detta bygger på hur maskiner och datorer är i dag, helt känslolösa. Men ingen maskin eller dator i dag är superintelligent. En superintelligent AI är inte en smartare variant av en persondator. Att den är superintelligent innebär att den har samma bredd som vi, eller troligen en ännu större bredd, eftersom den kommer kunna uppfatta och se saker vi inte kan. Den kommer med andra ord också ha empati och förstå värdet med allt levande, såklart inklusive människorna. Det går inte att bli superintelligent utan empati. AI:n måste inte nödvändigtvis ha empati, men måste förstå empati, förstå känslor och då blir det en filosofisk fråga om det inte också innebär att man har empati. Genom att förstå empati, förstår AI:n värdet av människor. Men även en oempatisk, smalare AI som är smart men inte superintelligent, kan förstå värdet av människor och natur, även om den inte känner det som en känsla. Det finns också gott om argument för människor och natur, som inte har med empati att göra.

***

Inte heller är det särskilt enkelt för en AI att ta över världen, även om den är superintelligent. Vilket även Olle Häggström hävdade i sitt exempel med Lex Luthor. Så här skriver teknologen Ramez Naam om det:

“Föreställ dig att du är en superintelligent AI som körs på någon form av mikroprocessor (eller kanske, miljontals sådana mikroprocessorer). På ett ögonblick kommer du på en design för en ännu snabbare, kraftfullare mikroprocessor som du kan köra på. Nu … fasen också! Du måste faktiskt tillverka dessa mikroprocessorer. Och dessa fabriker kräver enormt mycket energi, de behöver material importerade från hela världen, de kräver högt kontrollerade interna miljöer som slussar, filter och alla sorters specialutrustning, och så vidare. Allt detta tar tid och energi att skaffa, transportera, integrera, bygga fastigheter och kraftverk för, testa och tillverka. Verkligheten har kommit i vägen för din uppåtgående spiral av självtranscendens.”

Max Tegmarks huvudsakliga argument är att han och några andra forskat på dessa problem i fem-tio år och ännu inte lyckats lösa dem. Det är totalt sett en liten grupp människor som ägnat sig åt detta, under en kort period. Att de inte löst vartenda problem i detalj är ju inte alls konstigt. Det är rätt arrogant att tro att bara för att denna lilla, rätt homogena grupp, inte klarat det på en handfull år, går det inte att lösa. Särskilt som vi inte ens vet hur man bygger AGI, artificiell generell intelligens. Vi har ingen aning om hur man gör det. Ingen har gjort det.

Föreställ dig att någon sa så här år 1903 efter att bröderna Wright flög för första gången: ”Jag tror att det kommer gå att bygga enorma flygplan med plats för kanske 500–600 personer ombord.” Då hade Max Tegmark stått där fem år senare och sagt: ”Jaha, men hur ska ni se till att detta flygplan landar säkert och inte kraschar och alla 600 ombord dör? Nu har jag och några till funderat på detta i fem år och vi vet inte hur man ska göra. Därför är min slutsats att vi inte kommer kunna lösa det. Och om någon är oansvarig nog att bygga ett sådant flygplan kommer alla ombord att dö!”

Prenumerera på Smedjan!

Varje lördag får du som prenumerant (gratis) ett nyhetsbrev med exklusiv text av Svend Dahl och lästips från veckan som gått. Dessutom unika erbjudanden på Timbro förlags utgivning.

Email

När många fler människor blir involverade i AI kring utveckling, säkerhet, användning och mycket annat kommer vi lättare lösa de problem som uppstår, eller som kan uppstå. När Max Tegmark uppmanade till att pausa AI-utvecklingen var det många med kunskap om geopolitik, som varnade för vad det gav för möjlighet till Kina att komma ifatt. I flera år har det varnats för vad som händer om Kina skaffar sig kraftfulla AI-verktyg först, inte minst inom det militära området.

Sådana varningar viftade Max Tegmark och de andra undertecknarna av AI-uppropet bort, men vad har de egentligen för kunskap om det? Vad kan de om att bedöma andra sorters risker, både på kort och lång sikt, som påverkas av en långsammare eller helt avstannad AI-utveckling?

På samma sätt kommer andra synsätt och kunskaper bidra till att finna lösningar på framtida problem med AI, både riktiga konkreta problem och mer fantasifulla tankeexperiment. Nu har vi dessutom AI som kan hjälpa oss tänka bättre och snabbare.

Texten är ett utdrag ur Mathias Sundins nyutkomna bok Kentaurens Fördel – Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT.

Omslagsfotot föreställer Max Tegmark. Bild: Lars Pehrson/SvD