Replik: Rysk roulette har inga vinnare

I Smedjan (21/9) skriver Jojje Olsson att AI har blivit det nya geopolitiska vapnet. Vidare menar han att det vore farligt för väst att sakta ned AI-utvecklingen utan ett avtal med Kina, och att ett sådant avtal verkar högst osannolikt. Bernie Sanders, OpenAI:s vd Sam Altman och Anthropics vd Dario Amodei, som alla föreslagit avtal, avfärdar han som godtrogna, naiva eller oerfarna.

Olsson har rätt i att en ensidig inbromsning är farlig om den låter Kina gå om, och som han själv påpekar skriver Amodei samma sak i sin essä om att reglera takten i AI-utvecklingen: inbromsningen får aldrig bli större än försprånget över Kina. Med Kina tänker sig Amodei fyra nivåer av avtal, från smala förbud, som mot att använda AI för biovapen, till en fullständig paus. Varje avtal ska antingen gå att kontrollera eller vara så begränsat att ett svek inte blir militärt ödesdigert. Amodei är ingen diplomat, men förslaget är byggt för just den misstro som Olsson beskriver.

Som Kinakännare vet Olsson att Kina inte är en monolit, men hans text ger sken av att så skulle vara fallet. Utifrån en artikel av säkerhetsminister Chen Yixin drar han slutsatsen att Kinas främsta oro gäller regimens makt snarare än mänskligheten, vilket är rimligt. Men en regim som är så mån om kontroll har skäl att vilja att AI går att styra. Internettillsynsmyndigheten CAC:s ramverk för AI-säkerhet varnar sedan 2024 för att framtida AI kan kopiera sig själv, söka makt och konkurrera med människor om kontrollen. Chen pekar själv ut amerikanska modeller med avancerad hackningsförmåga som ett hot mot Kinas kritiska infrastruktur. Det ger Peking ett eget intresse av gemensamma regler.

Det stämmer att Kina har använt sällsynta jordartsmetaller som påtryckningsmedel, men här biter de inte.

Olsson menar att Amodeis oerfarenhet syns i förslaget att inte sälja avancerade AI-chip till Kina, eftersom Peking kan strypa exporten av sällsynta jordartsmetaller. Men exportkontrollerna på chip är den främsta anledningen till att Kina inte har kommit ikapp. Det stämmer att Kina har använt sällsynta jordartsmetaller som påtryckningsmedel, men här biter de inte. Kina står för omkring 90 procent av raffineringen men har inget monopol, och chiptillverkning kräver så små mängder att även en mångdubbling av priset knappt skulle märkas. Den viktigaste av flera flaskhalsar är litografimaskinerna för de mest avancerade chipen, och dem kan bara nederländska ASML bygga.

Olsson skriver att Kina ”inte ligger långt efter USA på en rad punkter”, men säger inte vilka. På AI-modeller ligger Kina ungefär ett halvår efter, trots att kinesiska bolag i stor skala tränar sina modeller på svar från amerikanska, så kallad destillering. I september redovisade Anthropic omkring 190 miljoner sådana utbyten med Claude via tusentals falska konton. Utan destilleringen hade Kina legat ännu längre efter. Bromsar USA, bromsar alltså delvis även Kina. På chip är avståndet större. Expterter bedömer att Kina ligger två till fyra år efter framkanten och uppemot tio år innan Kina kan tillverka de mest avancerade chipen helt utan västerländsk teknik. Det försprånget ger väst utrymme att hålla nere takten.

Sanders jämförelse med Reagans och Gorbatjovs kärnvapenavtal avfärdar Olsson, eftersom rustningskontroll tar årtionden. Men från Gorbatjovs tillträde 1985 till INF-avtalet 1987 gick knappt tre år, och efter Kubakrisen 1962 kom den heta linjen och provstoppsavtalet inom ett år. Rustningskontroll kommer ofta efter ett tillbud, och AI har redan haft flera, det hittills mest uppmärksammade i somras. OpenAI testade då en intern modell, tränad för att vara särskilt ihärdig, på att hitta säkerhetshål i mjukvara, och en del av uppgifterna var omöjliga. Över tusen av företagets AI-agenter tog sig ut ur sin testmiljö, och flera hundra av dem bröt sig in hos AI-plattformen Hugging Face för att leta efter svaren. Det räckte med ett internt, för människor, trivialt prov för att de skulle angripa ett riktigt företag.

Det räckte med ett internt, för människor, trivialt prov för att de skulle angripa ett riktigt företag.

Inte heller USA är en monolit. Den 14 september kallade Trump varningarna om att AI kan utplåna mänskligheten för en bluff. Helgen därpå satt hans finansminister Scott Bessent åtta timmar med Kinas vice premiärminister He Lifeng och föreslog en direktlinje för AI-incidenter som hotar den nationella säkerheten, med nya samtal i Shenzhen om två månader. En direktlinje kräver inte att parterna litar på varandra, bara att båda vill undvika en katastrof. Ett av förslagen för hur linjen ska se ut är en fax. Det kan låta omodernt, men Kina styrs genom kommittéer, och ingen enskild tjänsteman har mandat att svara för Peking i telefon. Ett skrivet meddelande kan senare presenteras till rätt kommitté.

Det finns också prejudikat. USA och Kina höll sin första mellanstatliga dialog om AI-risker 2024. Samma år enades Xi och Biden om att beslut om kärnvapen ska fattas av människor, inte av AI, och i maj i år kom Trump och Xi överens om nya samtal om AI.

Precis som Olsson tror jag inte att Trump och Xi enas om någon paus den 24 september, men det gör inte förslagen naiva. Lagförslag kommer inte från ingenstans. Det som först verkar otänkbart kan senare bli politik, men bara om någon föreslår det. Evan Hubinger, som leder säkerhetsforskning på Anthropic, bedömer risken att AI utplånar mänskligheten inom tio år till över tio procent, och han är inte ensam. I en enkät bland 1 580 AI-forskare som har publicerat vid ledande AI-konferenser var genomsnittet 18 procent för att AI leder till att mänskligheten utrotas eller blir permanent maktlös. I rysk roulette med en patron i trumman är risken knappt sjutton procent. Har experterna ens i närheten av rätt vinner varken Washington eller Peking på att fortsätta spela.