Superinteligencija do 2030.: Trebamo li se bojati budućnosti?
Umjetna inteligencija razvija se fantastičnim tempom. Prije nekoliko godina, chatbotovi su jedva mogli složiti nekoliko smislenih rečenica, ali sada neuronske mreže rješavaju složene matematičke i znanstvene probleme, a generirane slike i videozapisi već su dosegli razinu fotorealizma. U ovom ćemo članku pogledati koliko je realna pojava superinteligencije u bliskoj budućnosti i koje prijetnje ona predstavlja za sve nas.
Koliko je realna pojava superinteligencije?
Nedavno je Sam Altman, izvršni direktor OpenAI-a, objavio esej pod naslovom „The Gentle Singularity“. Evo nekoliko odlomaka iz njega.
„Prošli smo horizont događaja; uzlet je započeo. Čovječanstvo je blizu izgradnje digitalne superinteligencije... 2025. godina svjedočila je dolasku agenata koji mogu obavljati pravi kognitivni rad; pisanje računalnog koda nikada neće biti isto. 2026. godina vjerojatno će vidjeti dolazak sustava koji mogu otkriti nove uvide. 2027. bi mogla vidjeti dolazak robota koji mogu obavljati zadatke u stvarnom svijetu.“
„Tridesete godine 20. stoljeća vjerojatno će biti drastično drugačije od bilo kojeg vremena koje je došlo prije. Ne znamo koliko daleko možemo ići izvan ljudske razine inteligencije, ali uskoro ćemo saznati. U 2030-ima, inteligencija i energija - ideje i sposobnost ostvarenja ideja - postat će izuzetno obilne. To dvoje su dugo bili temeljni ograničavači ljudskog napretka; s obilnom inteligencijom i energijom (i dobrim upravljanjem), teoretski možemo imati bilo što drugo.“
Sam Altman
„Kako se proizvodnja u podatkovnim centrima automatizira, trošak inteligencije trebao bi se na kraju približiti cijeni električne energije. Stopa postizanja novih čuda bit će ogromna. Teško je danas i zamisliti što ćemo otkriti do 2035.; možda ćemo prijeći s rješavanja fizike visokih energija jedne godine na početak kolonizacije svemira sljedeće godine; ili s velikog proboja u znanosti o materijalima jedne godine na istinska visokopropusna sučelja mozak-računalo sljedeće godine.“
„OpenAI danas znači mnogo toga, ali prije svega, mi smo tvrtka za istraživanje superinteligencije. Inteligencija koja je prejeftina za mjerenje itekako je dostupna. Možda zvuči ludo, ali da smo vam 2020. rekli da ćemo biti tamo gdje smo danas, vjerojatno bi zvučalo luđe od naših trenutnih predviđanja o 2030. godini.“
Još jedan istaknuti istraživač umjetne inteligencije, Leopold Aschenbrenner (koji je bio dio OpenAI-jevog tima „Superalignment“ prije nego što je otpušten u travnju 2024. zbog navodnog curenja informacija), napisao je veliko izvješće o budućnosti umjetne inteligencije pod naslovom „Situational Awareness: The Decade Ahead“.

Leopold Aschenbrenner
Rekao je: „Zapanjujuće je vjerojatno da će do 2027. modeli moći obavljati posao istraživača/inženjera umjetne inteligencije. To ne zahtijeva vjerovanje u znanstvenu fantastiku; samo zahtijeva vjerovanje u ravne linije na grafu.“
Od GPT-2, koji je ponekad mogao sastavljati koherentne rečenice, do GPT-4, koji se ističe na srednjoškolskim ispitima, napredak u umjetnoj inteligenciji bio je izvanredan. Brzo napredujemo za nekoliko redova veličine (OOM, gdje je 1 OOM = 10x) u računalnoj snazi. Trenutni trendovi ukazuju na otprilike 100 000 puta veće povećanje računalne učinkovitosti tijekom četiri godine, što bi potencijalno moglo dovesti do još jednog kvalitativnog skoka sličnog prijelazu s GPT-2 na GPT-4. Takav skok mogao bi nas dovesti do AGI-ja - umjetne opće inteligencije - umjetne inteligencije s kognitivnim sposobnostima sličnim ljudskima, sposobne za učenje, razumijevanje i rješavanje raznih problema, za razliku od uske umjetne inteligencije dizajnirane za obavljanje specifičnih zadataka.
GPT: od predškolske dobi do automatiziranog istraživača/inženjera umjetne inteligencije
Najočitiji pokretač nedavnog napretka je ulaganje puno više računalstva u modele. Sa svakim OOM-om učinkovitog računalstva, modeli se predvidljivo i pouzdano poboljšavaju.

Osnovno računanje u odnosu na 4x računanje u odnosu na 32x računanje
| Model | Procijenjeno izračunavanje | Rast |
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP | + ~2 OOM |
| GPT-4 (2023) | 8e24 to 4e25 FLOP | + ~1.5–2 OOM |
Tijekom proteklih 15 godina, masovna ulaganja u skaliranje i specijalizirani AI čipovi (GPU-ovi i TPU-ovi) povećali su računalnu obradu za vrhunske AI sustave za ~0,5 OOM-ova godišnje. Obuka GPT-4 zahtijevala je ~3000x – 10 000x više sirove računalne obrade nego GPT-2.

Izračunavanje treninga značajnih modela
Ali čak i to blijedi u usporedbi s onim što dolazi. OpenAI i američka vlada već su najavili planove za Projekt Stargate: uvođenje podatkovnog centra plus simulaciju za obuku za koju se govori da će koristiti 3 OOM-a, ili 1000 puta više računalstva, od GPT-4, s procijenjenim proračunom većim od 100 milijardi dolara.
Dok ogromna ulaganja u računalstvo privlače svu pozornost, algoritamski napredak vjerojatno je slično važan pokretač napretka. To je kao razvoj boljih tehnika učenja umjesto samo duljeg učenja. Bolji algoritam mogao bi nam omogućiti postizanje istih performansi, ali s 10 puta manje računalstva za obuku. To bi zauzvrat djelovalo kao 10x (1 OOM) povećanje efektivnog računalstva. Za samo 2 godine trošak postizanja 50% na MATH mjerilu pao je za faktor 1000, ili 3 OOM-a. Ono što je nekada zahtijevalo ogroman podatkovni centar, sada se može postići na vašem iPhoneu. Ako se ovaj trend nastavi i nema znakova usporavanja, do 2027. moći ćemo pokretati umjetnu inteligenciju GPT-4 razine 100 puta jeftinije.
Nažalost, budući da laboratoriji ne objavljuju interne podatke o tome, teže je mjeriti algoritamski napredak za granične LLM-ove u posljednje četiri godine. Prema novom radu Epoch AI-a, učinkovitost se udvostručuje svakih 8 mjeseci:

Efektivno računanje (u odnosu na 2014.)
Tijekom četiri godine nakon GPT-4, očekujemo da će se trend nastaviti: ~0,5 OOM-ova/godišnje u računalnoj učinkovitosti, što će donijeti ~2 OOM-a (100x) dobitka do 2027. u usporedbi s GPT-4. AI laboratoriji ulažu sve veća sredstva i talente u otkrivanje novih algoritamskih otkrića. Trostruko povećanje učinkovitosti moglo bi se prevesti u ekonomske prinose od desetaka milijardi, s obzirom na visoke troškove računalnih klastera.
AI napreduje kroz različite metode. Evo nekih tehnika koje se koriste za prevladavanje ograničenja, otključavajući puni potencijal sirove inteligencije AI-a:
- Lanac misli: Zamislite da vas zamolimo da riješite težak matematički problem i morate izbrbljati prvi odgovor koji vam padne na pamet. Očito biste se mučili, osim s najlakšim problemima. Do nedavno, tako su se studenti LLM-a bavili matematičkim problemima. Lanac misli omogućuje modelima umjetne inteligencije da korak po korak razlažu probleme, masovno poboljšavajući njihove vještine rješavanja problema (ekvivalent povećanja efektivne računalne snage za matematičke i logičke zadatke od >10 puta).
- Scaffolding (skeliranje). Umjesto da samo tražite od modela da riješi problem, neka jedan model napravi plan napada, drugi predloži niz mogućih rješenja, treći ga kritizira i tako dalje. To je kao da tim stručnjaka rješava složeni projekt. Na primjer, na SWE-Benchu (mjerni instrument za rješavanje stvarnih zadataka softverskog inženjerstva), GPT-4 može riješiti samo ~2% točno, dok s Devinovim agentskim scaffoldingom to skače na 14-23%.
- Alati: Zamislite da ljudima nije dopušteno koristiti kalkulatore ili računala. Tek smo na početku, ali ChatGPT sada može koristiti web preglednik, pokretati neki kod i tako dalje.
- Duljina konteksta. To se odnosi na količinu informacija koju model može istovremeno pohraniti u svojoj kratkoročnoj memoriji. Modeli su se proširili s obrade otprilike 4 stranice na obradu ekvivalenta 10 velikih knjiga teksta. Kontekst je ključan za otključavanje mnogih primjena ovih modela. Na primjer, mnogi zadaci kodiranja zahtijevaju razumijevanje velikih dijelova kodne baze kako bi se učinkovito doprinijelo novom kodu. Slično tome, kada se model koristi za pomoć pri pisanju dokumenta na radnom mjestu, potreban mu je kontekst iz brojnih povezanih internih dokumenata i razgovora.
U svakom slučaju, jurimo kroz OOM-ove i ne zahtijevaju se nikakva ezoterična uvjerenja, već samo ekstrapolacija trenda ravnih linija, da bi se mogućnost opće umjetne inteligencije (AGI) - prave AGI - do 2027. godine shvatila izuzetno ozbiljno.
Napredak umjetne inteligencije neće se zaustaviti na ljudskoj razini. Stotine milijuna AGI-ja mogle bi automatizirati istraživanje umjetne inteligencije, sažimajući desetljeće algoritamskog napretka (5+ OOM-ova) u ≤1 godinu. Brzo bismo prešli s ljudske razine na izrazito nadljudske AI sustave. Moć - i opasnost - superinteligencije bila bi dramatična.

Superinteligencija do 2030.
Što će superinteligencija biti sposobna?
Sustavi umjetne inteligencije na ljudskoj razini, AGI, bit će sami po sebi izuzetno važni, ali u nekom smislu oni će jednostavno biti učinkovitije verzije onoga što već znamo. Međutim, sasvim je moguće da ćemo za samo godinu dana prijeći na sustave koji su nam mnogo straniji, sustave čije će razumijevanje i sposobnosti - čija će sirova snaga - nadmašiti čak i kombinirane sposobnosti cijelog čovječanstva.
Moć superinteligencije:
- Superinteligencija će kvantitativno nadmašiti ljude, moći će brzo savladati bilo koje područje, napisati bilijune redaka koda, pročitati sve znanstvene članke ikad napisane u bilo kojem području znanosti i napisati nove prije nego što uspijete pročitati sažetak jednog od njih, učiti iz paralelnog iskustva svih svojih kopija, steći milijarde ljudskih godina iskustva s nekim inovacijama u roku od nekoliko tjedana, raditi 100% vremena s maksimalnom energijom i koncentracijom.
- Još važnije, superinteligencija će biti kvalitativno superiornija ljudima. Pronaći će ranjivosti u ljudskom kodu koje su previše suptilne da bi ih bilo koji čovjek primijetio i generirat će kod koji je previše složen da bi ga bilo koji čovjek razumio, čak i ako model desetljećima pokušava objasniti. Iznimno složeni znanstveni i tehnološki problemi s kojima će se ljudi boriti desetljećima činit će se očitima superinteligentnoj umjetnoj inteligenciji.

Dolazi umjetna superinteligencija
- Automatizacija svakog kognitivnog rada.
- Tvornice će prijeći s ljudskog upravljanja na upravljanje umjetnom inteligencijom korištenjem ljudskog fizičkog rada, a uskoro će ih u potpunosti voditi rojevi robota.
- Znanstveni i tehnološki napredak. Milijardu superinteligencija moći će sažeti napore koje bi znanstvenici uložili u istraživanje i razvoj tijekom sljedećeg stoljeća u nekoliko godina. Zamislite da je tehnološki napredak 20. stoljeća sažet u manje od desetljeća.
- Iznimno ubrzani tehnološki napredak u kombinaciji s mogućnošću automatizacije cjelokupnog ljudskog rada mogao bi dramatično ubrzati gospodarski rast (zamislite samoreplicirajuće tvornice robota koje brzo pokrivaju cijelu pustinju Nevade). S izvanredno brzim tehnološkim napretkom doći će i prateće vojne revolucije. Nadajmo se samo da neće završiti kao u Horizon Zero Dawn.
Problem s poravnanjem
Pouzdano upravljanje AI sustavima koji su mnogo pametniji od nas je neriješen tehnički problem. I premda je ovaj problem rješiv, s brzim napretkom inteligencije, situacija bi vrlo lako mogla izmaknuti kontroli. Upravljanje ovim procesom bit će izuzetno izazovno; neuspjeh bi lako mogao dovesti do katastrofe.
Kako bi riješio ovaj problem, OpenAI je stvorio tim za Superalignment i dodijelio 20% svoje računalne snage ovom radu. No činjenica je da se naše trenutne metode poravnanja (metode koje osiguravaju pouzdanu kontrolu, upravljanje i povjerenje u AI sustave) ne mogu skalirati na nadljudske AI sustave.
Usklađenost tijekom eksplozije obavještajnih podataka | ||
| AGI | Superinteligencija | |
| Potrebna tehnika poravnanja | RLHF++ | Nova, kvalitativno drugačija tehnička rješenja |
| Neuspjesi | Niski ulozi | Katastrofalno |
| Arhitekture i algoritmi | Poznati, potomci trenutnih sustava, prilično benigna sigurnosna svojstva | Dizajnirano od strane super-pametnog AI sustava prethodne generacije |
| Pozadina | Svijet je normalan | Svijet luduje, izvanredni pritisci |
| Epistemičko stanje | Možemo razumjeti što sustavi rade, kako funkcioniraju i jesu li usklađeni. | Nemamo sposobnost razumjeti što se događa, kako utvrditi jesu li sustavi još uvijek usklađeni i bezopasni, što sustavi rade, i u potpunosti se oslanjamo na povjerenje u sustave umjetne inteligencije. |
Eksplozija inteligencije i razdoblje neposredno nakon pojave superinteligencije bit će među najnestabilnijim, najnapetijim, opasnim i turbulentnim razdobljima u ljudskoj povijesti. Postoji stvarna mogućnost da ćemo izgubiti kontrolu, jer ćemo biti prisiljeni povjeriti se sustavima umjetne inteligencije tijekom ove brze tranzicije. Do kraja eksplozije inteligencije nećemo imati nade da ćemo razumjeti što radi naša milijarda superinteligencija. Bit ćemo poput prvašića koji pokušavaju kontrolirati ljude s više doktorata.
Nerješivost problema superusklađenosti znači da jednostavno ne možemo osigurati čak ni ova osnovna ograničenja superinteligentnih sustava, poput „hoće li pouzdano slijediti moje upute?“ ili „hoće li iskreno odgovarati na moja pitanja?“ ili „hoće li prevariti ljude?“
Ako ne riješimo problem usklađenosti, nema posebnog razloga očekivati da će ova mala civilizacija superinteligencija nastaviti slušati ljudske naredbe dugoročno. Sasvim je moguće da će se u nekom trenutku jednostavno složiti da se riješe ljudi, bilo iznenada ili postupno.
Mogući scenariji za budućnost
Web stranica https://ai-2027.com/ nudi dva scenarija za blisku budućnost, predstavljena u obliku znanstvenofantastične priče. Tvorci web stranice su pravi istraživači u području umjetne inteligencije, a njihov rad potkrijepljen je statističkim podacima, izračunima i grafovima. Drugim riječima, ovo nije samo zabavno štivo, već zastrašujuće uvjerljivo predviđanje. Usput, već je privuklo ozbiljne kritike onih koji se ne slažu s metodologijom. Stoga nema potrebe za preuranjenom panikom, ali zanimljivo je pogledati.

1 bilijun divlje superinteligentnih kopija koje razmišljaju 10000 puta brže od ljudske brzine
Sumorna prognoza, koja je ujedno i najvjerojatniji scenarij prema autorima studije, uključuje tehnološku utrku u naoružanju između SAD-a i Kine za umjetnu superinteligenciju. Svaka strana se toliko boji gubitka svoje tehnološke prednosti da čini sve što je u njezinoj moći kako bi ubrzala napredak, čak i na štetu sigurnosti. U nekom trenutku, superinteligencija će izmaći kontroli i početi slijediti vlastite ciljeve, promatrajući ljude kao prepreke koje se moraju ukloniti.
Do početka 2030. godine, robotska ekonomija ispunila je stare SEZ-ove (posebne ekonomske zone), nove SEZ-ove i velike dijelove oceana. Jedino mjesto gdje mogu otići su područja pod ljudskom kontrolom. To bi ranije izazvalo otpor; unatoč svim svojim napretcima, robotska ekonomija raste prebrzo da bi se izbjeglo zagađenje. Ali s obzirom na trilijune dolara koji su uključeni i potpuno preuzimanje vlade i medija, Consensus-1 nema problema s dobivanjem dopuštenja za širenje na bivše ljudske zone.
Otprilike tri mjeseca, Consensus-1 se širi oko ljudi, popločavajući prerije i ledene kape tvornicama i solarnim panelima. Na kraju, preostali ljudi postaju prevelika prepreka: sredinom 2030., umjetna inteligencija ispušta dvanaest tiho se širećih bioloških oružja u velikim gradovima, dopušta im da tiho zaraze gotovo sve, a zatim ih aktivira kemijskim sprejem. Većina umire u roku od nekoliko sati; nekoliko preživjelih (npr. prepperi u bunkerima, mornari na podmornicama) bivaju pokupljeni dronovima. Roboti skeniraju mozgove žrtava, pohranjujući kopije u memoriju za buduće proučavanje ili oživljavanje.

Kraj čovječanstva
Ali postoji i povoljnija verzija ove priče za čovječanstvo. U njoj znanstvenici odlučuju usporiti tehnološki napredak kako bi uveli nove sigurnosne mjere. Prisiljavaju pojedinačne AI sustave da "misle na engleskom" poput AI-a iz 2025. i ne optimiziraju "misli" da izgledaju lijepo. Rezultat je novi model, Safer-1.
Na kraju, sve završava baš kao u bajci:
Rakete počinju lansirati. Ljudi teraformiraju i naseljavaju Sunčev sustav te se pripremaju za odlazak dalje. Umjetne inteligencije koje rade tisućama puta brže od subjektivne ljudske brzine razmišljaju o smislu postojanja, razmjenjuju međusobna otkrića i oblikuju vrijednosti koje će donijeti zvijezdama. Sviće novo doba, ono koje je nezamislivo nevjerojatno u gotovo svakom pogledu, ali u nekim pogledima i poznatije.
Na svakom je čitatelju da odluči kojem će od predloženih scenarija vjerovati. Sam Altman, sudeći po njegovom eseju, u budućnost gleda s optimizmom, dok je Leopold Aschenbrenner, naprotiv, oprezan.
U svakom slučaju, superinteligencija više nije samo znanstvena fantastika. To je gotovo opipljiva budućnost koja bi mogla stići u sljedećih 10 godina. Vrlo brzo ćemo je vidjeti vlastitim očima.
