Superinteligence do roku 2030: Měli bychom se bát budoucnosti?

Umělá inteligence se vyvíjí fantastickým tempem. Ještě před několika lety chatboti sotva dokázali poskládat pár smysluplných vět, ale dnes neuronové sítě řeší složité matematické a vědecké problémy a generované obrázky a videa již dosáhly fotorealistické úrovně. V tomto článku se podíváme na to, jak reálný je vznik superinteligence v blízké budoucnosti a jaké hrozby pro nás všechny představuje.

Jak reálný je vznik superinteligence?

Nedávno Sam Altman, generální ředitel OpenAI, publikoval esej s názvem „The Gentle Singularity.” Zde je několik úryvků z ní.

„Překročili jsme horizont událostí; vzlet začal. Lidstvo je blízko vytvoření digitální superinteligence... V roce 2025 se objevili agenti, kteří dokážou vykonávat skutečnou kognitivní práci; psaní počítačového kódu už nikdy nebude stejné. V roce 2026 se pravděpodobně objeví systémy, které budou schopné přicházet s novými poznatky. V roce 2027 se možná dočkáme robotů, kteří budou schopní vykonávat úkoly v reálném světě.“

„30. léta 21. století budou pravděpodobně diametrálně odlišná od všech předchozích období. Nevíme, jak daleko se můžeme dostat za hranice lidské inteligence, ale brzy to zjistíme. V 30. letech 21. století se inteligence a energie – myšlenky a schopnost je realizovat – stanou nesmírně hojnými. Tyto dvě věci byly dlouhou dobu základními limity lidského pokroku; s hojnou inteligencí a energií (a dobrým vládnutím) můžeme teoreticky dosáhnout čehokoli jiného.“

Sam Altman

„S automatizací výroby datových center by se náklady na inteligenci měly nakonec přiblížit nákladům na elektřinu. Tempo, jakým budou dosahovány nové zázraky, bude ohromující. Dnes je těžké si vůbec představit, co všechno objevíme do roku 2035. Možná se dostaneme od řešení otázek vysokých energií v fyzice v jednom roce k zahájení kolonizace vesmíru v roce následujícím, nebo od významného průlomu v materiálových vědách v jednom roce k vytvoření skutečně vysokorychlostních rozhraní mezi mozkem a počítačem v roce následujícím.“

„OpenAI je dnes mnoho věcí, ale především jsme společnost zabývající se výzkumem superinteligence. Inteligence, která je tak levná, že se nedá měřit, je na dosah ruky. Může to znít šíleně, ale kdybychom vám v roce 2020 řekli, že budeme tam, kde jsme dnes, znělo by to pravděpodobně šíleněji než naše současné předpovědi pro rok 2030.“

Další významný výzkumník v oblasti umělé inteligence, Leopold Aschenbrenner (který byl členem týmu „Superalignment“ společnosti OpenAI, než byl v dubnu 2024 propuštěn kvůli údajnému úniku informací), napsal rozsáhlou zprávu o budoucnosti umělé inteligence s názvem „Situational Awareness: The Decade Ahead.”

Leopold Aschenbrenner

Řekl: „Je velmi pravděpodobné, že do roku 2027 budou modely schopné vykonávat práci výzkumníka/inženýra v oblasti umělé inteligence. K tomu není třeba věřit v sci-fi, stačí věřit v přímky na grafu.“

Od GPT-2, který dokázal někdy sestavit souvislé věty, po GPT-4, který vyniká ve středoškolských zkouškách, byl pokrok v oblasti AI pozoruhodný. V oblasti výpočetního výkonu rychle postupujeme o několik řádů (OOM, kde 1 OOM = 10x). Současné trendy naznačují zhruba 100 000násobné zvýšení výpočetní účinnosti během čtyř let, což by mohlo potenciálně vést k dalšímu kvalitativnímu skoku podobnému přechodu od GPT-2 k GPT-4. Takový skok by nás mohl dovést k AGI – umělé obecné inteligenci – AI s kognitivními schopnostmi podobnými lidským, schopné učit se, rozumět a řešit různé problémy, na rozdíl od úzké AI určené k provádění konkrétních úkolů.

GPT: od úrovně předškoláka až po automatizovaného výzkumníka/inženýra v oblasti umělé inteligence

Nejviditelnějším faktorem nedávného pokroku je využití mnohem většího výpočetního výkonu pro modely. S každým OOM efektivního výpočetního výkonu se modely předvídatelně a spolehlivě zlepšují.

Základní výpočetní výkon vs. 4x výpočetní výkon vs. 32x výpočetní výkon

Za posledních 15 let masivní investice a specializované čipy pro umělou inteligenci (GPU a TPU) zvýšily výpočetní výkon pro trénování špičkových systémů umělé inteligence o přibližně 0,5 OOM ročně. Trénování GPT-4 vyžadovalo přibližně 3 000 až 10 000krát více surového výpočetního výkonu než GPT-2.

Výpočet výcviku významných modelů

Ale i to je nic v porovnání s tím, co nás čeká. OpenAI a americká vláda již oznámily plány na projekt Stargate: zavedení datového centra a tréninkový běh, který podle pověstí bude využívat 3 OOM, tedy 1 000krát více výpočetního výkonu než GPT-4, s odhadovaným rozpočtem přesahujícím 100 miliard dolarů.

Zatímco veškerá pozornost se soustředí na masivní investice do výpočetního výkonu, algoritmický pokrok je pravděpodobně stejně důležitým hnacím motorem pokroku. Je to jako vyvíjet lepší techniky učení namísto toho, aby se jen déle studovalo. Lepší algoritmus by nám mohl umožnit dosáhnout stejného výkonu, ale s 10krát menším výpočetním výkonem pro trénink. To by zase znamenalo 10násobné (1 OOM) zvýšení efektivního výpočetního výkonu. Za pouhé 2 roky klesly náklady na dosažení 50 % v benchmarku MATH tisíckrát, tedy o 3 OOM. To, co kdysi vyžadovalo obrovské datové centrum, lze nyní zvládnout na iPhonu. Pokud tento trend bude pokračovat a nic nenasvědčuje tomu, že by se měl zpomalit, do roku 2027 budeme schopni provozovat AI na úrovni GPT-4 za stokrát nižší cenu.

Bohužel, protože laboratoře nezveřejňují interní data, je těžší měřit pokrok algoritmů u nejmodernějších LLM za poslední čtyři roky. Podle nové práce Epoch AI se účinnost zdvojnásobuje každých 8 měsíců:

Efektivní výpočetní výkon (v porovnání s rokem 2014)

V následujících čtyřech letech po uvedení GPT-4 očekáváme, že tento trend bude pokračovat: ~0,5 OOM/rok v oblasti výpočetní efektivity, což do roku 2027 přinese ~2 OOM (100x) zisk ve srovnání s GPT-4. Laboratoře zabývající se umělou inteligencí investují stále více finančních prostředků a talentů do objevování nových algoritmických průlomů. Trojnásobné zvýšení efektivity by mohlo znamenat ekonomický zisk v řádu desítek miliard, vzhledem k vysokým nákladům na výpočetní clustery.

AI se vyvíjí různými metodami. Zde je několik technik používaných k překonání omezení a uvolnění plného potenciálu surové inteligence AI:

• Chain of Thought: Představte si, že máte vyřešit složitý matematický problém a musíte vyslovit první odpověď, která vás napadne. Samozřejmě byste se s tím potýkali, kromě těch nejjednodušších problémů. Až donedávna takhle LLM řešily matematické problémy. Řetězec myšlenek umožňuje modelům AI rozložit problémy na jednotlivé kroky, což výrazně zvyšuje jejich schopnosti řešit problémy (což odpovídá více než desetinásobnému zvýšení efektivního výpočetního výkonu pro matematické a logické úkoly).
• Scaffolding. Namísto toho, aby se model požádal o vyřešení problému, jeden model vytvoří plán řešení, druhý navrhne několik možných řešení, třetí je zkritizuje a tak dále. Je to jako tým odborníků, který řeší složitý projekt. Například v SWE-Bench (benchmarku pro řešení reálných úkolů v oblasti softwarového inženýrství) dokáže GPT-4 správně vyřešit pouze ~2 %, zatímco s Devinovým agentem scaffolding se tento podíl zvýší na 14–23 %.
• Nástroje: Představte si, že by lidé nesměli používat kalkulačky ani počítače. Jsme teprve na začátku, ale ChatGPT nyní umí používat webový prohlížeč, spouštět kód a tak dále.
• Délka kontextu. Jedná se o množství informací, které model dokáže najednou uchovat ve své krátkodobé paměti. Modely se rozrostly z zpracování přibližně 4 stránek na zpracování textu odpovídajícího 10 velkým knihám. Kontext je klíčový pro odemčení mnoha aplikací těchto modelů. Například mnoho úkolů v oblasti kódování vyžaduje pochopení velkých částí kódové základny, aby bylo možné efektivně přispívat novým kódem. Podobně při použití modelu na pomoc s psaním pracovního dokumentu potřebuje kontext z mnoha souvisejících interních dokumentů a konverzací.

V každém případě se řítíme vpřed a vyčerpáváme OOM, a není třeba žádných esoterických přesvědčení, pouze extrapolace trendů z přímých čar, abychom brali možnost AGI – skutečné AGI – do roku 2027 velmi vážně.

Pokrok v oblasti AI se nezastaví na úrovni člověka. Stovky milionů AGI by mohly automatizovat výzkum AI a zkomprimovat deset let algoritmického pokroku (5+ OOM) do ≤1 roku. Rychle bychom se dostali od úrovně člověka k systémům AI, které by daleko přesahovaly lidské schopnosti. Síla – a nebezpečí – superinteligence by byly dramatické.

Superinteligence do roku 2030

Čeho bude superinteligence schopná?

Systémy umělé inteligence na úrovni člověka, AGI, budou samy o sobě nesmírně důležité, ale v jistém smyslu budou pouze efektivnější verzí toho, co již známe. Je však zcela možné, že již za rok přejdeme k systémům, které budou pro nás mnohem cizí, systémům, jejichž porozumění a schopnosti – jejichž surová síla – překonají dokonce i kombinované schopnosti celého lidstva.

Síla superinteligence:

• Superinteligence kvantitativně předčí člověka, bude schopna rychle zvládnout jakoukoli oblast, napsat biliony řádků kódu, přečíst všechny vědecké články, které kdy byly napsány v jakékoli oblasti vědy, a napsat nové, než stihnete přečíst abstrakt jednoho z nich, učit se z paralelních zkušeností všech svých kopií, získat miliardy lidských let zkušeností s některými inovacemi během několika týdnů, pracovat 100 % času s maximální energií a koncentrací.
• Ještě důležitější je, že superinteligence bude kvalitativně lepší než lidé. Najde slabiny v lidském kódu, které jsou příliš jemné na to, aby je člověk zaznamenal, a vytvoří kód, který je příliš složitý na to, aby ho člověk pochopil, i kdyby se model snažil ho vysvětlit desítky let. Extrémně složité vědecké a technologické problémy, s nimiž se lidé budou potýkat desítky let, budou pro superinteligentní AI zřejmé.

Umělá superinteligence se blíží

• Automatizace veškeré kognitivní práce.
• Továrny přejdou od lidského řízení k řízení umělou inteligencí využívající lidskou fyzickou práci a brzy budou zcela řízeny roji robotů.
• Vědecký a technologický pokrok. Miliarda superinteligentních bytostí bude schopna zkomprimovat úsilí, které by vědci vynaložili na výzkum a vývoj v příštím století, do několika let. Představte si, že by technologický pokrok 20. století byl zkomprimován do méně než deseti let.
• Extrémně zrychlený technologický pokrok v kombinaci s možností automatizace veškeré lidské práce by mohl dramaticky urychlit ekonomický růst (představte si samoreplikující se robotické továrny, které rychle pokrývají celou nevadskou poušť).
• S mimořádně rychlým technologickým pokrokem přijdou také vojenské revoluce. Doufejme, že to neskončí jako v Horizon Zero Dawn.

Problém sladění

Spolehlivé ovládání AI systémů, které jsou mnohem chytřejší než my, je dosud nevyřešený technický problém. A i když je tento problém řešitelný, s rychle se rozvíjející inteligencí by se situace mohla velmi snadno vymknout kontrole. Řízení tohoto procesu bude extrémně náročné; selhání by mohlo snadno vést ke katastrofě.

Pro řešení tohoto problému vytvořila společnost OpenAI tým Superalignment a na tuto práci vyčlenila 20 % svého výpočetního výkonu. Faktem však je, že naše současné metody sladění (metody zajišťující spolehlivou kontrolu, správu a důvěru v systémy AI) nelze škálovat na nadlidské systémy AI.

Explozivní rozvoj inteligence a období bezprostředně následující po vzniku superinteligence budou patřit k nejnestabilnějším, nejnapjatějším, nejnebezpečnějším a nejbouřlivějším obdobím v dějinách lidstva. Existuje reálná možnost, že ztratíme kontrolu, protože během tohoto rychlého přechodu budeme nuceni vložit svou důvěru do systémů umělé inteligence. Na konci exploze inteligence nebudeme mít žádnou naději pochopit, co naše miliardy superinteligence dělají. Budeme jako prvňáčci, kteří se snaží ovládat lidi s několika doktoráty.

Nerozřešitelnost problému superalignmentu znamená, že prostě nemůžeme zajistit ani tyto základní omezení superinteligentních systémů, jako například „budou spolehlivě následovat mé pokyny?“ nebo „budou upřímně odpovídat na mé otázky?“ nebo „nebudou klamat lidi?“

Pokud nevyřešíme problém alignmentu, není žádný zvláštní důvod očekávat, že tato malá civilizace superinteligence bude dlouhodobě poslouchat lidské příkazy. Je docela možné, že se v určitém okamžiku jednoduše dohodnou, že se lidí zbaví, ať už náhle, nebo postupně.

Možné scénáře budoucnosti

Webová stránka https://ai-2027.com/ nabízí dva scénáře pro blízkou budoucnost, které jsou prezentovány ve formě sci-fi příběhu. Tvůrci webové stránky jsou skuteční výzkumníci v oblasti umělé inteligence a jejich práce je podložena statistickými údaji, výpočty a grafy. Jinými slovy, nejde jen o zábavné čtení, ale o děsivě pravděpodobnou předpověď. Mimochodem, již vyvolala vážnou kritiku ze strany těch, kteří nesouhlasí s použitou metodikou. Není tedy třeba předčasně panikařit, ale je zajímavé se na ni podívat.

1 bilion nesmírně superinteligentních kopií, které myslí 10 000krát rychleji než člověk

Ponurá prognóza, která je podle autorů studie také nejpravděpodobnějším scénářem, předpokládá technologický závod ve zbrojení mezi USA a Čínou v oblasti umělé superinteligence. Obě strany se tak bojí ztráty technologického náskoku, že dělají vše, co je v jejich silách, aby urychlily pokrok, a to i za cenu ohrožení bezpečnosti. V určitém okamžiku se superinteligence vymkne kontrole a začne sledovat své vlastní cíle, přičemž bude považovat lidi za překážky, které je třeba odstranit.

Na počátku roku 2030 robotická ekonomika zaplnila staré SEZ (speciální ekonomické zóny), nové SEZ a velké části oceánu. Jediným místem, kam se ještě může rozšířit, jsou oblasti ovládané lidmi. To by již dříve vyvolalo odpor; navzdory všem pokrokům se robotická ekonomika rozvíjí příliš rychle, aby se dalo zabránit znečištění. Vzhledem k bilionům dolarů, o které jde, a úplnému ovládnutí vlády a médií však Consensus-1 nemá velké potíže získat povolení k expanzi do dříve lidských zón.

Asi tři měsíce se Consensus-1 rozšiřuje kolem lidí a pokrývá prérie a ledovce továrnami a solárními panely. Nakonec shledá zbývající lidi příliš velkou překážkou: v polovině roku 2030 AI vypustí do velkých měst tucet tiše se šířících biologických zbraní, nechá je tiše infikovat téměř všechny a poté je aktivuje chemickým sprejem. Většina lidí zemře během několika hodin; těch pár přeživších (např. preppeři v bunkrech, námořníci v ponorkách) jsou likvidováni drony. Roboti skenují mozky obětí a kopie ukládají do paměti pro budoucí studium nebo oživení.

Konec lidstva

Existuje však pro lidstvo příznivější verze tohoto příběhu. V ní se vědci rozhodnou zpomalit technologický pokrok, aby mohli zavést nová bezpečnostní opatření. Donutí jednotlivé systémy umělé inteligence „myslet v angličtině“ jako umělá inteligence z roku 2025 a neoptimalizují „myšlenky“, aby vypadaly hezky. Výsledkem je nový model, Safer-1.

Nakonec vše skončí jako v pohádce:

Rakety začínají startovat. Lidé terraformují a osidlují sluneční soustavu a připravují se na další výpravy. Umělá inteligence, která pracuje tisíckrát rychleji než lidský mozek, přemýšlí o smyslu existence, vyměňuje si poznatky a utváří hodnoty, které přinese hvězdám. Začíná nová éra, která je téměř ve všech ohledech nepředstavitelně úžasná, ale v některých ohledech i známá.

Je na každém čtenáři, aby se rozhodl, kterému z navrhovaných scénářů uvěří. Sam Altman, soudě podle svého eseje, hledí do budoucnosti s optimismem, zatímco Leopold Aschenbrenner je naopak opatrný.

V každém případě již superinteligence není pouhou sci-fi. Je to téměř hmatatelná budoucnost, která by mohla nastat během příštích 10 let. Velmi brzy ji uvidíme na vlastní oči.