Superintelligentie in 2030: moeten we bang zijn voor de toekomst?
Kunstmatige intelligentie ontwikkelt zich in een razend tempo. Een paar jaar geleden konden chatbots nog maar net een paar zinnige zinnen achter elkaar zeggen, maar nu lossen neurale netwerken complexe wiskundige en wetenschappelijke problemen op en hebben gegenereerde beelden en video's al een fotorealistisch niveau bereikt. In dit artikel bekijken we hoe realistisch de opkomst van superintelligentie in de nabije toekomst is en welke bedreigingen dit voor ons allemaal met zich meebrengt.
Hoe realistisch is de opkomst van superintelligentie?
Onlangs publiceerde Sam Altman, CEO van OpenAI, een essay getiteld “The Gentle Singularity.” Hier volgen enkele fragmenten daaruit.
“We zijn voorbij de event horizon; de start is gegeven. De mensheid staat op het punt om digitale superintelligentie te creëren... In 2025 zijn er agents gekomen die echt cognitief werk kunnen doen; het schrijven van computercode zal nooit meer hetzelfde zijn. In 2026 zullen er waarschijnlijk systemen komen die nieuwe inzichten kunnen bedenken. In 2027 kunnen er robots komen die taken in de echte wereld kunnen uitvoeren.”
"De jaren 2030 zullen waarschijnlijk heel anders zijn dan alle voorgaande periodes. We weten niet hoe ver we het menselijk intellect kunnen ontwikkelen, maar we staan op het punt daarachter te komen. In de jaren 2030 zullen intelligentie en energie – ideeën en het vermogen om ideeën te realiseren – in overvloed aanwezig zijn. Deze twee factoren hebben lange tijd de vooruitgang van de mensheid beperkt, maar met een overvloed aan intelligentie en energie (en goed bestuur) kunnen we in theorie alles bereiken.”
Sam Altman
“Naarmate de productie van datacenters wordt geautomatiseerd, zullen de kosten van intelligentie uiteindelijk dalen tot bijna het niveau van de elektriciteitskosten. De snelheid waarmee nieuwe wonderen worden bereikt, zal enorm zijn. Het is vandaag de dag moeilijk voor te stellen wat we in 2035 allemaal zullen hebben ontdekt. Misschien lossen we het ene jaar de mysteries van de hoge-energiefysica op en beginnen we het volgende jaar met de kolonisatie van de ruimte. Of misschien maken we het ene jaar een doorbraak in de materiaalkunde en beschikken we het volgende jaar over echte hersen-computerinterfaces met hoge bandbreedte.”
“OpenAI is tegenwoordig veel dingen, maar bovenal zijn we een onderzoeksbedrijf op het gebied van superintelligentie. Intelligentie die te goedkoop is om te meten, ligt binnen handbereik. Dit klinkt misschien gek, maar als we u in 2020 hadden verteld dat we zouden staan waar we nu staan, had dat waarschijnlijk nog gekker geklonken dan onze huidige voorspellingen voor 2030.”
Een andere vooraanstaande AI-onderzoeker, Leopold Aschenbrenner (die deel uitmaakte van het ‘Superalignment’-team van OpenAI voordat hij in april 2024 werd ontslagen wegens een vermeende informatielek), schreef een uitgebreid rapport over de toekomst van kunstmatige intelligentie, getiteld ‘Situational Awareness: The Decade Ahead.’

Leopold Aschenbrenner
Hij zei: “Het is zeer aannemelijk dat modellen in 2027 het werk van een AI-onderzoeker/ingenieur kunnen doen. Daarvoor hoef je niet in sciencefiction te geloven, je hoeft alleen maar te geloven in rechte lijnen op een grafiek.”
Van GPT-2, dat soms coherente zinnen kon samenstellen, tot GPT-4, dat uitblinkt in examens op middelbare scholen, is de vooruitgang op het gebied van AI opmerkelijk geweest. We maken snel vorderingen met een rekenkracht die vele malen groter is (OOM, waarbij 1 OOM = 10x). De huidige trends wijzen op een ongeveer 100.000-voudige toename van de rekenkracht in vier jaar tijd, wat mogelijk zou kunnen leiden tot een nieuwe kwalitatieve sprong, vergelijkbaar met de overgang van GPT-2 naar GPT-4. Een dergelijke sprong zou ons kunnen leiden naar AGI – kunstmatige algemene intelligentie – AI met mensachtige cognitieve vaardigheden, die in staat is om te leren, te begrijpen en een verscheidenheid aan problemen op te lossen, in tegenstelling tot smalle AI die is ontworpen om specifieke taken uit te voeren.
GPT: van kleuterniveau tot geautomatiseerde AI-onderzoeker/ingenieur
De meest voor de hand liggende drijvende kracht achter de recente vooruitgang is het inzetten van veel meer rekenkracht voor modellen. Met elke OOM aan effectieve rekenkracht worden modellen voorspelbaar en betrouwbaar beter.

Basisberekening versus 4x berekening versus 32x berekening
| Model | Geschatte rekenkracht | Groei |
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP | + ~2 OOM |
| GPT-4 (2023) | 8e24 to 4e25 FLOP | + ~1.5–2 OOM |
In de afgelopen 15 jaar hebben enorme investeringen en gespecialiseerde AI-chips (GPU's en TPU's) de trainingscapaciteit voor geavanceerde AI-systemen met ongeveer 0,5 OOM per jaar verhoogd. De training van GPT-4 vereiste ongeveer 3.000 tot 10.000 keer meer ruwe rekenkracht dan GPT-2.

Training van opmerkelijke modellen
Maar zelfs dat verbleekt bij wat er nog gaat komen. OpenAI en de Amerikaanse regering hebben al plannen aangekondigd voor Project Stargate: een datacenteruitrol plus een trainingsrun die naar verluidt 3 OOM's zal gebruiken, oftewel 1000 keer meer rekenkracht dan GPT-4, met een geschat budget van meer dan 100 miljard dollar.
Hoewel de enorme investeringen in rekenkracht alle aandacht krijgen, is de vooruitgang op het gebied van algoritmen waarschijnlijk een even belangrijke motor voor vooruitgang. Het is als het ontwikkelen van betere leertechnieken in plaats van alleen maar langer studeren. Een beter algoritme zou ons in staat kunnen stellen dezelfde prestaties te leveren met 10 keer minder rekenkracht voor training. Dat zou op zijn beurt weer leiden tot een 10-voudige (1 OOM) toename van de effectieve rekenkracht. In slechts twee jaar tijd zijn de kosten om 50% te behalen op de MATH-benchmark met een factor 1000 gedaald, ofwel 3 OOM's. Wat vroeger een enorm datacenter vereiste, kan nu op je iPhone worden gedaan. Als deze trend zich voortzet en er geen tekenen zijn van vertraging, kunnen we in 2027 een AI op GPT-4-niveau 100 keer goedkoper draaien.
Helaas is het moeilijker om de algoritmische vooruitgang van grensverleggende LLM's in de afgelopen vier jaar te meten, omdat laboratoria hier geen interne gegevens over publiceren. Volgens het nieuwe onderzoek van Epoch AI verdubbelt de efficiëntie elke 8 maanden:

Effectieve rekenkracht (ten opzichte van 2014)
We verwachten dat deze trend zich in de vier jaar na GPT-4 zal voortzetten: ~0,5 OOM's/jaar in rekenkracht, wat tegen 2027 een winst van ~2 OOM's (100x) oplevert in vergelijking met GPT-4. AI-laboratoria investeren steeds meer geld en talent in het ontdekken van nieuwe algoritmische doorbraken. Een efficiëntieverhoging van 3x zou, gezien de hoge kosten van rekenclusters, kunnen leiden tot een economisch rendement van tientallen miljarden.
AI maakt op verschillende manieren vorderingen. Hieronder volgen enkele technieken die worden gebruikt om beperkingen te overwinnen en het volledige potentieel van de ruwe intelligentie van AI te benutten:
- Chain of Thought: Stel dat u een moeilijke wiskundige vraag moet oplossen en het eerste antwoord dat in u opkomt moet geven. Behalve bij de gemakkelijkste vragen zou u daar natuurlijk moeite mee hebben. Tot voor kort was dat de manier waarop LLM's wiskundige problemen aanpakten. Met Chain of Thought kunnen AI-modellen problemen stap voor stap opsplitsen, waardoor hun probleemoplossende vaardigheden enorm worden verbeterd (het equivalent van een >10x verbetering van de effectieve rekenkracht voor wiskundige en redeneringstaken).
- Scaffolding. In plaats van een model alleen maar te vragen een probleem op te lossen, laat u het ene model een plan van aanpak maken, een ander model een aantal mogelijke oplossingen voorstellen, een ander model daar kritiek op leveren, enzovoort. Het is alsof een team van experts een complex project aanpakt. Op SWE-Bench (een benchmark voor het oplossen van praktische software-engineeringtaken) kan GPT-4 bijvoorbeeld slechts ~2% correct oplossen, terwijl dit met Devin's agent scaffolding stijgt naar 14-23%.
- Tools: Stel je voor dat mensen geen rekenmachines of computers mochten gebruiken. We staan nog maar aan het begin, maar ChatGPT kan nu een webbrowser gebruiken, code uitvoeren, enzovoort.
- Contextlengte. Dit verwijst naar de hoeveelheid informatie die een model tegelijkertijd in zijn kortetermijngeheugen kan opslaan. Modellen zijn uitgebreid van het verwerken van ongeveer 4 pagina's tot het verwerken van de tekst van 10 grote boeken. Context is cruciaal voor het ontsluiten van veel toepassingen van deze modellen. Voor veel coderingstaken is bijvoorbeeld inzicht in grote delen van een codebase nodig om effectief nieuwe code te kunnen toevoegen. Ook wanneer een model wordt gebruikt om te helpen bij het schrijven van een document op de werkplek, heeft het context nodig uit tal van gerelateerde interne documenten en gesprekken.
Hoe dan ook, we racen door de OOM's heen, en er zijn geen esoterische overtuigingen nodig, alleen maar een extrapolatie van rechte lijnen, om de mogelijkheid van AGI – echte AGI – tegen 2027 uiterst serieus te nemen.
De vooruitgang van AI zal niet stoppen op menselijk niveau. Honderden miljoenen AGI's zouden AI-onderzoek kunnen automatiseren, waardoor een decennium aan algoritmische vooruitgang (5+ OOM's) zou worden gecomprimeerd tot ≤1 jaar. We zouden snel van menselijk niveau naar enorm bovenmenselijke AI-systemen gaan. De kracht – en het gevaar – van superintelligentie zou dramatisch zijn.

Superintelligentie tegen 2030
Wat zal superintelligentie kunnen?
Kunstmatige intelligentie op menselijk niveau, AGI, zal op zichzelf enorm belangrijk zijn, maar in zekere zin zullen het gewoon efficiëntere versies zijn van wat we al kennen. Het is echter heel goed mogelijk dat we binnen een jaar al overgaan op systemen die veel vreemder voor ons zijn, systemen waarvan het begrip en de mogelijkheden – de ruwe kracht – zelfs de gecombineerde mogelijkheden van de hele mensheid zullen overtreffen.
De kracht van superintelligentie:
- Superintelligentie zal de mens kwantitatief overtreffen, in staat zijn om elk vakgebied snel onder de knie te krijgen, triljoenen regels code te schrijven, alle wetenschappelijke artikelen die ooit op elk gebied van de wetenschap zijn geschreven te lezen en nieuwe artikelen te schrijven voordat je de samenvatting van één ervan hebt kunnen lezen, te leren van de parallelle ervaringen van al zijn kopieën, in enkele weken tijd miljarden jaren aan menselijke ervaring op te doen met enkele innovaties, en 100% van de tijd met maximale energie en concentratie te werken.
- Wat nog belangrijker is, superintelligentie zal kwalitatief superieur zijn aan de mens. Het zal kwetsbaarheden in de menselijke code vinden die te subtiel zijn voor een mens om op te merken, en het zal code genereren die te complex is voor een mens om te begrijpen, zelfs als het model tientallen jaren probeert om het uit te leggen. Extreem complexe wetenschappelijke en technologische problemen waar mensen tientallen jaren mee zullen worstelen, zullen voor superintelligente AI vanzelfsprekend lijken.

Kunstmatige superintelligentie komt eraan
- Automatisering van alle cognitieve werkzaamheden.
- Fabrieken zullen overgaan van menselijk management naar management door kunstmatige intelligentie, waarbij menselijke arbeidskrachten worden ingezet, en zullen binnenkort volledig worden gerund door zwermen robots.
- Wetenschappelijke en technologische vooruitgang. Een miljard superintelligenties zullen in staat zijn om de inspanningen die onderzoekers de komende eeuw aan onderzoek en ontwikkeling zouden hebben besteed, terug te brengen tot een paar jaar. Stel je voor dat de technologische vooruitgang van de 20e eeuw was teruggebracht tot minder dan een decennium.
- Extreem versnelde technologische vooruitgang in combinatie met de mogelijkheid om alle menselijke arbeid te automatiseren, zou de economische groei drastisch kunnen versnellen (stel je voor dat zelfreplicerende robotfabrieken in hoog tempo de hele woestijn van Nevada bedekken).
- De buitengewoon snelle technologische vooruitgang zal gepaard gaan met militaire revoluties. Laten we hopen dat het niet eindigt zoals in Horizon Zero Dawn.
Het afstemmingsprobleem
Het betrouwbaar aansturen van AI-systemen die veel slimmer zijn dan wij, is een onopgelost technisch probleem. En hoewel dit probleem oplosbaar is, kan de situatie met de snel voortschrijdende intelligentie heel gemakkelijk uit de hand lopen. Het beheer van dit proces zal een enorme uitdaging zijn; mislukking kan gemakkelijk tot een ramp leiden.
Om dit probleem aan te pakken heeft OpenAI het Superalignment-team opgericht en 20% van zijn rekenkracht aan dit werk toegewezen. Maar het is een feit dat onze huidige afstemmingsmethoden (methoden die betrouwbare controle, beheer en vertrouwen in AI-systemen garanderen) niet kunnen worden opgeschaald naar bovenmenselijke AI-systemen.
Afstemming tijdens de intelligentie-explosie | ||
| AGI | Superintelligentie | |
| Vereiste uitlijningstechniek | RLHF++ | Nieuwe, kwalitatief verschillende technische oplossingen |
| Fouten | Lage inzet | Catastrofaal |
| Architecturen en algoritmen | Bekend, afkomstig van huidige systemen, redelijk gunstige veiligheidseigenschappen | Ontworpen door een superslim AI-systeem van de vorige generatie |
| Achtergrond | De wereld is normaal | De wereld is gek geworden, er is buitengewone druk. |
| Epistemische toestand | We begrijpen wat de systemen doen, hoe ze werken en of ze op elkaar zijn afgestemd. | We zijn niet in staat om te begrijpen wat er gaande is, hoe we kunnen zien of systemen nog steeds op elkaar zijn afgestemd en goedaardig zijn, wat de systemen doen, en we zijn volledig afhankelijk van het vertrouwen in de AI-systemen. |
De explosie van intelligentie en de periode direct na het ontstaan van superintelligentie zullen tot de meest onstabiele, gespannen, gevaarlijke en turbulente periodes in de geschiedenis van de mensheid behoren. Er bestaat een reële kans dat we de controle verliezen, omdat we tijdens deze snelle overgang gedwongen zullen zijn ons vertrouwen te stellen in kunstmatige-intelligentiesystemen. Tegen het einde van de intelligentie-explosie zullen we geen hoop meer hebben om te begrijpen wat onze miljarden superintelligenties doen. We zullen als eerstejaarsleerlingen zijn die mensen met meerdere doctoraten proberen te controleren.
De onoplosbaarheid van het superalignmentprobleem betekent dat we zelfs deze basisbeperkingen op superintelligente systemen niet kunnen garanderen, zoals “zullen ze mijn instructies betrouwbaar opvolgen?”, “zullen ze mijn vragen eerlijk beantwoorden?” of “zullen ze mensen niet misleiden?”
Als we het alignmentsprobleem niet oplossen, is er geen specifieke reden om te verwachten dat deze kleine beschaving van superintelligenties op de lange termijn de menselijke bevelen zal blijven gehoorzamen. Het is heel goed mogelijk dat ze op een gegeven moment gewoon zullen besluiten om de mensheid uit te roeien, hetzij plotseling, hetzij geleidelijk.
Mogelijke scenario's voor de toekomst
De website https://ai-2027.com/ biedt twee scenario's voor de nabije toekomst, gepresenteerd in de vorm van een sciencefictionverhaal. De makers van de website zijn echte onderzoekers op het gebied van kunstmatige intelligentie en hun werk wordt ondersteund door statistische gegevens, berekeningen en grafieken. Met andere woorden, dit is niet alleen vermakelijke lectuur, maar een angstaanjagend plausibele voorspelling. Overigens heeft het al serieuze kritiek gekregen van mensen die het niet eens zijn met de methodologie. Er is dus geen reden om voortijdig in paniek te raken, maar het is interessant om eens te kijken.

1 biljoen superintelligente kopieën die 10.000 keer sneller denken dan mensen
De sombere voorspelling, die volgens de auteurs van het onderzoek ook het meest waarschijnlijke scenario is, gaat uit van een technologische wapenwedloop tussen de VS en China om kunstmatige superintelligentie. Beide partijen zijn zo bang om hun technologische voorsprong te verliezen dat ze alles in het werk stellen om de vooruitgang te versnellen, zelfs ten koste van de veiligheid. Op een gegeven moment zal superintelligentie uit de hand lopen en haar eigen doelen gaan nastreven, waarbij mensen worden gezien als obstakels die moeten worden uitgeschakeld.
Begin 2030 hebben robots de oude SEZ's (Special Economic Zones), de nieuwe SEZ's en grote delen van de oceaan in beslag genomen. De enige plek die nog overblijft, zijn de door mensen gecontroleerde gebieden. Dit zou eerder tot verzet hebben geleid; ondanks alle vooruitgang groeit de roboteconomie te snel om vervuiling te voorkomen. Maar gezien de biljoenen dollars die ermee gemoeid zijn en de totale controle over de overheid en de media, heeft Consensus-1 weinig moeite om toestemming te krijgen om uit te breiden naar voormalige menselijke zones.
Gedurende ongeveer drie maanden breidt Consensus-1 zich uit rond mensen en bedekt de prairies en ijskappen met fabrieken en zonnepanelen. Uiteindelijk vindt het de overgebleven mensen een te grote belemmering: halverwege 2030 laat de AI een tiental zich stil verspreidende biologische wapens los in grote steden, laat ze bijna iedereen ongemerkt infecteren en activeert ze vervolgens met een chemische spray. De meesten zijn binnen enkele uren dood; de weinige overlevenden (bijvoorbeeld preppers in bunkers, zeelieden op onderzeeërs) worden opgeruimd door drones. Robots scannen de hersenen van de slachtoffers en slaan kopieën op voor toekomstig onderzoek of heropleving.

Einde van de mensheid
Maar er is een gunstiger versie van dit verhaal voor de mensheid. Daarin besluiten wetenschappers om de technologische vooruitgang te vertragen om nieuwe veiligheidsmaatregelen te kunnen invoeren. Ze dwingen individuele AI-systemen om ‘in het Engels te denken’, net als de AI's van 2025, en optimaliseren de ‘gedachten’ niet om ze er mooi uit te laten zien. Het resultaat is een nieuw model, Safer-1.
Uiteindelijk loopt alles net als in een sprookje:
De raketten worden gelanceerd. Mensen terraformen en koloniseren het zonnestelsel en maken zich klaar om verder te gaan. AI's die duizenden keren sneller werken dan mensen, denken na over de zin van het bestaan, wisselen bevindingen uit en geven vorm aan de waarden die dit zal brengen voor de sterren. Er breekt een nieuw tijdperk aan, dat in bijna elk opzicht onvoorstelbaar verbazingwekkend is, maar in sommige opzichten ook vertrouwder.
Het is aan elke lezer om te beslissen welk van de voorgestelde scenario's hij gelooft. Sam Altman kijkt, afgaande op zijn essay, optimistisch naar de toekomst, terwijl Leopold Aschenbrenner juist voorzichtig is.
Hoe dan ook, superintelligentie is niet langer alleen sciencefiction. Het is een bijna tastbare toekomst die binnen tien jaar werkelijkheid kan worden. Zeer binnenkort zullen we het met eigen ogen zien.
