Superintelligens i 2030: Skal vi frygte fremtiden?
Kunstig intelligens udvikler sig i et fantastisk tempo. For få år siden kunne chatbots knap nok strikke et par meningsfulde sætninger sammen, men nu løser neurale netværk komplekse matematiske og videnskabelige problemer, og genererede billeder og videoer har allerede nået et niveau af fotorealistisk kvalitet. I denne artikel vil vi se på, hvor realistisk fremkomsten af superintelligens er i den nærmeste fremtid, og hvilke trusler den udgør for os alle.
Hvor realistisk er fremkomsten af superintelligens?
For nylig offentliggjorde Sam Altman, CEO for OpenAI, et essay med titlen »The Gentle Singularity.« Her er et par uddrag fra det.
”Vi har passeret begivenhedshorisonten; starten er gået. Menneskeheden er tæt på at skabe digital superintelligens... I 2025 er der kommet agenter, der kan udføre reelt kognitivt arbejde; det vil aldrig blive det samme at skrive computerkode. I 2026 vil vi sandsynligvis se systemer, der kan finde frem til nye indsigter. I 2027 vil vi måske se robotter, der kan udføre opgaver i den virkelige verden.”
”2030’erne vil sandsynligvis blive meget forskellige fra alle tidligere perioder. Vi ved ikke, hvor langt vi kan komme i forhold til menneskelig intelligens, men vi er ved at finde ud af det. I 2030'erne vil intelligens og energi – ideer og evnen til at realisere ideer – blive utroligt rigelige. Disse to faktorer har længe været de grundlæggende begrænsninger for menneskets fremskridt, men med rigelig intelligens og energi (og god regeringsførelse) kan vi i teorien få alt andet."
Sam Altman
»I takt med at datacenterproduktionen bliver automatiseret, vil omkostningerne til intelligens i sidste ende nærme sig omkostningerne til elektricitet. Der vil ske utrolige fremskridt. Det er svært at forestille sig i dag, hvad vi vil have opdaget i 2035. Måske vil vi gå fra at løse højenergifysik det ene år til at begynde kolonisering af rummet det næste, eller fra et stort gennembrud inden for materialevidenskab det ene år til ægte højbåndsbredde-grænseflader mellem hjerne og computer det næste.«
”OpenAI er mange ting i dag, men først og fremmest er vi et forskningsfirma inden for superintelligens. Intelligens, der er for billig til at måle, er inden for rækkevidde. Det lyder måske vanvittigt, men hvis vi havde fortalt jer i 2020, at vi ville være, hvor vi er i dag, ville det nok have lydt mere vanvittigt end vores nuværende forudsigelser for 2030.”
En anden fremtrædende AI-forsker, Leopold Aschenbrenner (der var en del af OpenAI's »Superalignment«-team, før han blev fyret i april 2024 på grund af en påstået informationslækage), skrev en omfattende rapport om fremtiden for kunstig intelligens med titlen »Situational Awareness: The Decade Ahead.«

Leopold Aschenbrenner
Han sagde: »Det er meget sandsynligt, at modeller i 2027 vil være i stand til at udføre arbejdet som en AI-forsker/ingeniør. Det kræver ikke, at man tror på science fiction, det kræver bare, at man tror på lige linjer på en graf.«
Fra GPT-2, som undertiden kunne danne sammenhængende sætninger, til GPT-4, som udmærker sig i gymnasieeksamener, har fremskridtene inden for AI været bemærkelsesværdige. Vi gør hurtigt fremskridt med flere størrelsesordener (OOM, hvor 1 OOM = 10x) i regnekraft. De nuværende tendenser peger på en cirka 100.000-dobling af computereffektiviteten over fire år, hvilket potentielt kan føre til endnu et kvalitativt spring svarende til overgangen fra GPT-2 til GPT-4. Et sådant spring kan føre os til AGI – kunstig generel intelligens – AI med menneskelignende kognitive evner, der er i stand til at lære, forstå og løse en række forskellige problemer, i modsætning til snæver AI, der er designet til at udføre specifikke opgaver.
GPT: fra børnehaveniveau til automatiseret AI-forsker/ingeniør
Den mest åbenlyse drivkraft bag de seneste fremskridt er, at der bruges meget mere regnekraft på modellerne. For hver OOM effektiv regnekraft bliver modellerne forudsigeligt og pålideligt bedre.

Baseberegning vs. 4x beregning vs. 32x beregning
| Model | Anslået beregning | Vækst |
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP | + ~2 OOM |
| GPT-4 (2023) | 8e24 to 4e25 FLOP | + ~1.5–2 OOM |
I løbet af de sidste 15 år har massive investeringer og specialiserede AI-chips (GPU'er og TPU'er) øget træningscomputerkapaciteten for banebrydende AI-systemer med ca. 0,5 OOM om året. Træningen af GPT-4 krævede ca. 3.000-10.000 gange mere rå computerkraft end GPT-2.

Træningsberegning af bemærkelsesværdige modeller
Men selv det blegner i sammenligning med det, der kommer. OpenAI og den amerikanske regering har allerede annonceret planer for Project Stargate: en udrulning af datacentre plus en træningskørsel, der efter sigende vil bruge 3 OOM'er, eller 1.000 gange mere regnekraft end GPT-4, med et anslået budget på over 100 milliarder dollars.
Mens massive investeringer i computerkraft får al opmærksomheden, er algoritmisk fremskridt sandsynligvis en lige så vigtig drivkraft for fremskridt. Det er som at udvikle bedre læringsteknikker i stedet for bare at studere længere. En bedre algoritme kan muligvis give os den samme ydeevne, men med 10 gange mindre træningscomputerkraft. Det vil igen fungere som en 10 gange (1 OOM) stigning i effektiv computerkraft. På bare to år faldt omkostningerne til at opnå 50 % på MATH-benchmarken med en faktor 1.000 eller 3 OOM. Det, der engang krævede et kæmpe datacenter, kan nu udføres på din iPhone. Hvis denne tendens fortsætter, og der ikke er tegn på afmatning, vil vi i 2027 være i stand til at køre en AI på GPT-4-niveau til en tiendedel af prisen.
Desværre er det sværere at måle den algoritmiske fremgang for banebrydende LLM'er i de sidste fire år, da laboratorierne ikke offentliggør interne data om dette. Ifølge Epoch AI's nye arbejde fordobles effektiviteten hver 8. måned:

Effektiv beregning (i forhold til 2014)
I de fire år efter GPT-4 forventer vi, at tendensen vil fortsætte: ~0,5 OOM/år i beregnings effektivitet, hvilket giver ~2 OOM (100x) gevinst i 2027 sammenlignet med GPT-4. AI-laboratorier investerer stadig flere midler og talent i at opdage nye algoritmiske gennembrud. En tredobling af effektiviteten kunne betyde økonomiske gevinster på titusindvis af milliarder, givet de høje omkostninger ved beregningsklynger.
AI udvikler sig gennem forskellige metoder. Her er nogle teknikker, der bruges til at overvinde begrænsninger og frigøre det fulde potentiale i AI's rå intelligens:
- Tankekæde: Forestil dig, at du bliver bedt om at løse et svært matematisk problem og skal sige det første svar, der kommer op i dit hoved. Du ville naturligvis have svært ved det, undtagen med de nemmeste problemer. Indtil for nylig var det sådan, vi fik LLM'er til at tackle matematiske problemer. Tankekæde giver AI-modeller mulighed for at opdele problemer trin for trin, hvilket øger deres problemløsningsfærdigheder markant (svarende til en >10 gange større effektiv regnekraft til matematiske og logiske opgaver).
- Scaffolding. I stedet for blot at bede en model om at løse et problem, kan man få en model til at udarbejde en plan, en anden til at foreslå en række mulige løsninger, en tredje til at kritisere dem osv. Det er som et team af eksperter, der tackler et komplekst projekt. For eksempel kan GPT-4 på SWE-Bench (en benchmark for løsning af virkelige softwareudviklingsopgaver) kun løse ~2 % korrekt, mens det med Devin's agent scaffolding springer til 14-23 %.
- Værktøjer: Forestil dig, at mennesker ikke måtte bruge lommeregnere eller computere. Vi er kun lige begyndt, men ChatGPT kan nu bruge en webbrowser, køre noget kode osv.
- Kontekstlængde. Dette refererer til den mængde information, en model kan rumme i sin korttidshukommelse på én gang. Modeller er gået fra at kunne håndtere ca. 4 sider til at kunne behandle det, der svarer til 10 store bøger. Kontekst er afgørende for at kunne udnytte mange af disse modellers anvendelsesmuligheder. For eksempel kræver mange kodningsopgaver, at man forstår store dele af en kodebase for at kunne bidrage med ny kode på en effektiv måde. Tilsvarende har en model, der skal hjælpe med at skrive et dokument på arbejdspladsen, brug for kontekst fra en lang række relaterede interne dokumenter og samtaler.
Under alle omstændigheder er vi ved at nå OOM'erne, og det kræver ingen esoteriske overbevisninger, blot en ekstrapolering af tendenser i lige linjer, for at tage muligheden for AGI – ægte AGI – inden 2027 ekstremt alvorligt.
AI-udviklingen vil ikke stoppe på menneskeligt niveau. Hundredvis af millioner af AGI'er kunne automatisere AI-forskningen og komprimere et årti af algoritmisk fremskridt (5+ OOM'er) til ≤1 år. Vi ville hurtigt gå fra menneskeligt niveau til langt overmenneskelige AI-systemer. Superintelligensens magt – og fare – ville være dramatisk.

Superintelligens inden 2030
Hvad vil superintelligens være i stand til?
Kunstige intelligenssystemer på menneskeligt niveau, AGI, vil være enormt vigtige i sig selv, men i en vis forstand vil de blot være mere effektive versioner af det, vi allerede kender. Det er dog helt muligt, at vi på bare et år vil gå videre til systemer, der er meget mere fremmede for os, systemer, hvis forståelse og evner – hvis rå styrke – vil overgå selv hele menneskehedens samlede evner.
Superintelligensens kraft:
- Superintelligens vil kvantitativt overgå mennesker, være i stand til hurtigt at mestre ethvert felt, skrive billioner af kodelinjer, læse alle videnskabelige artikler, der nogensinde er skrevet inden for ethvert videnskabeligt felt, og skrive nye, før du kan læse abstraktet af en af dem, lære af de parallelle erfaringer fra alle sine kopier, tilegne sig milliarder af menneskelige års erfaring med nogle innovationer på få uger, arbejde 100 % af tiden med maksimal energi og koncentration.
- Endnu vigtigere er det, at superintelligens vil være kvalitativt overlegent i forhold til mennesker. Den vil finde sårbarheder i menneskelig kode, der er for subtile til, at mennesker kan opdage dem, og den vil generere kode, der er for kompleks til, at mennesker kan forstå den, selvom modellen bruger årtier på at forsøge at forklare den. Ekstremt komplekse videnskabelige og teknologiske problemer, som mennesker vil kæmpe med i årtier, vil virke indlysende for superintelligent AI.

Kunstig superintelligens er på vej
- Automatisering af alt kognitivt arbejde.
- Fabrikker vil skifte fra menneskelig ledelse til kunstig intelligens, der bruger menneskelig fysisk arbejdskraft, og vil snart blive drevet af sværme af robotter.
- Videnskabelig og teknologisk fremskridt. En milliard superintelligenser vil være i stand til at komprimere den indsats, som forskere ville have brugt på forskning og udvikling i det næste århundrede, til få år. Forestil dig, hvis det teknologiske fremskridt i det 20. århundrede var blevet komprimeret til mindre end et årti.
- Ekstremt accelereret teknologisk fremskridt kombineret med muligheden for at automatisere alt menneskeligt arbejde kunne dramatisk accelerere den økonomiske vækst (forestil dig selvreproducerende robotfabrikker, der hurtigt dækker hele Nevada-ørkenen).
- Med ekstraordinært hurtige teknologiske fremskridt vil der komme militære revolutioner. Lad os bare håbe, at det ikke ender som i Horizon Zero Dawn.
Alignmentsproblemet
Pålidelig kontrol af AI-systemer, der er meget smartere end os, er et uløst teknisk problem. Og selvom dette problem kan løses, kan situationen meget let komme ud af kontrol med den hurtigt fremskridende intelligens. Det vil være ekstremt udfordrende at styre denne proces, og en fiasko kan let føre til en katastrofe.
For at løse dette problem har OpenAI oprettet Superalignment-teamet og afsat 20 % af sin computerkraft til dette arbejde. Men faktum er, at vores nuværende tilpasningsmetoder (metoder, der sikrer pålidelig kontrol, styring og tillid til AI-systemer) ikke kan skaleres til overmenneskelige AI-systemer.
Tilpasning under den intellektuelle eksplosion | ||
| AGI | Superintelligens | |
| Påkrævet justeringsteknik | RLHF++ | Nye, kvalitativt forskellige tekniske løsninger |
| Fejl | Lav indsats | Katastrofal |
| Arkitekturer og algoritmer | Velkendte, efterkommere af nuværende systemer, forholdsvis harmløse sikkerhedsegenskaber | Designet af den forrige generation af superintelligente AI-systemer |
| Baggrund | Verden er normal | Verden er ved at gå amok, ekstraordinært pres |
| Epistemisk tilstand | Vi kan forstå, hvad systemerne gør, hvordan de fungerer, og om de er afstemt. | Vi har ingen mulighed for at forstå, hvad der foregår, hvordan vi kan se, om systemerne stadig er afstemt og har en god indvirkning, hvad systemerne gør, og vi er fuldstændig afhængige af at stole på AI-systemerne. |
Intelligensens eksplosion og perioden umiddelbart efter fremkomsten af superintelligens vil være blandt de mest ustabile, spændte, farlige og turbulente perioder i menneskets historie. Der er en reel mulighed for, at vi mister kontrollen, da vi vil blive tvunget til at sætte vores lid til kunstige intelligenssystemer under denne hurtige overgang. Ved slutningen af intelligensens eksplosion vil vi ikke have noget håb om at forstå, hvad vores milliarder af superintelligenser laver. Vi vil være som første klasses elever, der forsøger at kontrollere mennesker med flere ph.d.-grader.
Det uløselige superalignment-problem betyder, at vi simpelthen ikke kan sikre selv disse grundlæggende begrænsninger for superintelligente systemer, såsom »vil de pålideligt følge mine instruktioner?« eller »vil de svare ærligt på mine spørgsmål?« eller »vil de ikke bedrage mennesker?«
Hvis vi ikke løser tilpasningsproblemet, er der ingen særlig grund til at forvente, at denne lille civilisation af superintelligenser vil fortsætte med at adlyde menneskelige befalinger på lang sigt. Det er meget muligt, at de på et tidspunkt simpelthen vil blive enige om at skaffe sig af med mennesker, enten pludseligt eller gradvist.
Mulige scenarier for fremtiden
Hjemmesiden https://ai-2027.com/ tilbyder to scenarier for den nærmeste fremtid, præsenteret i form af en science fiction-fortælling. Skaberne af hjemmesiden er virkelige forskere inden for kunstig intelligens, og deres arbejde er bakket op af statistiske data, beregninger og grafer. Med andre ord er dette ikke bare underholdende læsning, men en skræmmende plausibel forudsigelse. Det har i øvrigt allerede vakt alvorlig kritik fra dem, der er uenige i metodikken. Der er altså ingen grund til at gå i panik, men det er interessant at tage et kig.

1 billion vildt superintelligente kopier, der tænker 10.000 gange hurtigere end mennesker
Den dystre prognose, som også er det mest sandsynlige scenario ifølge forfatterne af undersøgelsen, indebærer et teknologisk våbenkapløb mellem USA og Kina om kunstig superintelligens. Hver side er så bange for at miste sin teknologiske fordel, at den gør alt, hvad den kan, for at fremskynde fremskridtet, selv på bekostning af sikkerheden. På et eller andet tidspunkt vil superintelligensen komme ud af kontrol og begynde at forfølge sine egne mål og betragte mennesker som forhindringer, der skal fjernes.
I begyndelsen af 2030 har robotøkonomien fyldt de gamle SEZ'er (Special Economic Zones), de nye SEZ'er og store dele af havet. Det eneste sted, der er tilbage, er de menneskestyrede områder. Dette ville have udløst modstand tidligere, men trods alle fremskridt vokser robotøkonomien for hurtigt til at undgå forurening. Men i betragtning af de billioner af dollars, der er involveret, og den totale kontrol over regeringen og medierne, har Consensus-1 ingen problemer med at få tilladelse til at udvide til tidligere menneskelige zoner.
I cirka tre måneder udbreder Consensus-1 sig omkring mennesker og dækker prærier og iskapper med fabrikker og solcellepaneler. Til sidst finder den de tilbageværende mennesker for meget til hinder: I midten af 2030 frigiver AI'en et dusin stille spredende biologiske våben i større byer, lader dem smitte næsten alle i stilhed og udløser dem derefter med en kemisk spray. De fleste er døde inden for få timer; de få overlevende (f.eks. preppere i bunkers, sømænd på ubåde) bliver udryddet af droner. Robotter scanner ofrenes hjerner og gemmer kopier i hukommelsen til fremtidig undersøgelse eller genoplivning.

Menneskets undergang
Men der findes en mere positiv version af denne historie for menneskeheden. I denne version beslutter forskerne at bremse den teknologiske udvikling for at indføre nye sikkerhedsforanstaltninger. De tvinger de enkelte AI-systemer til at »tænke på engelsk« ligesom AI'erne i 2025 og ikke optimere »tankerne« for at få dem til at se pæne ud. Resultatet er en ny model, Safer-1.
I sidste ende ender alt ligesom i et eventyr:
Raketterne begynder at blive affyret. Mennesker terraformer og bosætter sig i solsystemet og forbereder sig på at rejse videre. Kunstig intelligens, der kører tusindvis af gange hurtigere end menneskets subjektive hastighed, reflekterer over eksistensens mening, udveksler erfaringer med hinanden og former de værdier, den vil bringe til stjernerne. En ny tidsalder begynder, en tidsalder, der er utrolig fantastisk på næsten alle måder, men på nogle måder også mere velkendt.
Det er op til hver enkelt læser at beslutte, hvilket af de foreslåede scenarier man vil tro på. Sam Altman ser, at dømme efter hans essay, optimistisk på fremtiden, mens Leopold Aschenbrenner tværtimod er forsigtig.
Under alle omstændigheder er superintelligens ikke længere bare science fiction. Det er en næsten håndgribelig fremtid, der kan indtræde inden for de næste 10 år. Meget snart vil vi se det med vores egne øjne.
