Суперинтелигентност до 2030 г.: Трябва ли да се страхуваме от бъдещето?
Изкуственият интелект се развива с фантастични темпове. Преди няколко години чатботовете едва можеха да съставят няколко смислени изречения, но сега невронните мрежи решават сложни математически и научни проблеми, а генерираните изображения и видеоклипове вече са достигнали ниво на фотореализъм. В тази статия ще разгледаме колко реалистично е появата на суперинтелигентност в близко бъдеще и какви заплахи представлява тя за всички нас.
Колко реалистично е появата на суперинтелигентност?
Наскоро Сам Алтман, главен изпълнителен директор на OpenAI, публикува есе, озаглавено „The Gentle Singularity.” Ето няколко извадки от него.
„Преминахме хоризонта на събитията; излитането започна. Човечеството е близо до създаването на цифрова суперинтелигентност... 2025 г. видя появата на агенти, които могат да извършват реална когнитивна работа; писането на компютърен код никога няма да бъде същото. 2026 г. вероятно ще види появата на системи, които могат да откриват нови идеи. 2027 г. може да види появата на роботи, които могат да изпълняват задачи в реалния свят.“
„2030-те години вероятно ще бъдат коренно различни от всичко, което сме преживели досега. Не знаем доколко можем да надминем човешкия интелект, но скоро ще разберем. През 2030-те години интелектът и енергията – идеите и способността да ги реализираме – ще станат изключително изобилни. Дълго време тези две неща бяха основните ограничители на човешкия прогрес, но с изобилие от интелект и енергия (и добро управление) теоретично можем да постигнем всичко.“
Сам Алтман
„С автоматизацията на производството в центровете за данни, разходите за интелигентност в крайна сметка ще се доближат до разходите за електроенергия. Темпото, с което ще се постигат нови чудеса, ще бъде огромно. Днес е трудно дори да си представим какво ще сме открили до 2035 г. Може би от решаването на задачи от физиката на високите енергии през една година ще преминем към колонизиране на космоса през следващата, или от голям пробив в науката за материалите през една година ще стигнем до истински интерфейси с висока пропускателна способност между мозъка и компютъра през следващата.“
„OpenAI е много неща в момента, но преди всичко ние сме компания за изследвания в областта на суперинтелигентността. Интелигентността, която е твърде евтина, за да се измерва, е напълно постижима. Може да звучи лудо, но ако ви бяхме казали през 2020 г., че ще бъдем там, където сме днес, вероятно щеше да ви звучи по-лудо от настоящите ни прогнози за 2030 г.“
Друг изтъкнат изследовател в областта на изкуствения интелект, Леополд Ашенбреннер (който беше част от екипа „Superalignment” на OpenAI, преди да бъде уволнен през април 2024 г. поради предполагаемо изтичане на информация), написа обширен доклад за бъдещето на изкуствения интелект, озаглавен „Situational Awareness: The Decade Ahead.”

Леополд Ашенбреннер
Той каза: „Изключително вероятно е до 2027 г. моделите да могат да вършат работата на изследовател/инженер в областта на изкуствения интелект. За да повярвате в това, не е нужно да вярвате в научната фантастика, а просто да вярвате в правите линии на графиката.“
От GPT-2, който понякога можеше да съставя кохерентни изречения, до GPT-4, който се отличава в изпитите в гимназията, напредъкът в изкуствения интелект е забележителен. Ние напредваме бързо с няколко порядъка величина (OOM, където 1 OOM = 10x) в изчислителната мощност. Настоящите тенденции сочат около 100 000-кратно увеличение на изчислителната ефективност за четири години, което потенциално може да доведе до друг качествен скок, подобен на прехода от GPT-2 към GPT-4. Такъв скок може да ни доведе до AGI – изкуствен общ интелект – AI с когнитивни способности, подобни на човешките, способен да учи, разбира и решава различни проблеми, за разлика от тесния AI, проектиран да изпълнява конкретни задачи.
GPT: от ниво предучилищна възраст до автоматизиран изследовател/инженер в областта на изкуствения интелект
Най-очевидният фактор за напредъка в последно време е използването на много повече изчислителна мощност за моделите. С всеки OOM ефективна изчислителна мощност моделите стават по-добри по предвидим и надежден начин.

Базова изчислителна мощност срещу 4x изчислителна мощност срещу 32x изчислителна мощност
| Модел | Очаквани изчисления | Растеж |
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP | + ~2 OOM |
| GPT-4 (2023) | 8e24 to 4e25 FLOP | + ~1.5–2 OOM |
През последните 15 години мащабните инвестиции и специализираните AI чипове (GPU и TPU) увеличиха изчислителната мощност за обучение на най-модерните AI системи с около 0,5 OOM годишно. Обучението на GPT-4 изискваше около 3000–10 000 пъти повече сурова изчислителна мощност в сравнение с GPT-2.

Обучение на изчисления на забележителни модели
Но дори и това бледнее в сравнение с това, което предстои. OpenAI и правителството на САЩ вече обявиха планове за проект Stargate: разгръщане на център за данни и тренировъчен цикъл, за който се говори, че ще използва 3 OOM, или 1000 пъти повече изчислителна мощност от GPT-4, с приблизителен бюджет над 100 милиарда долара.
Докато огромните инвестиции в изчислителни мощности привличат цялото внимание, алгоритмичният напредък вероятно е също толкова важен двигател на прогреса. Това е като да разработваш по-добри техники за учене, вместо просто да учиш по-дълго. По-добър алгоритъм може да ни позволи да постигнем същата производителност, но с 10 пъти по-малко изчислителни мощности за обучение. Това от своя страна би довело до 10-кратно (1 OOM) увеличение на ефективните изчислителни мощности. Само за 2 години разходите за постигане на 50% по MATH бенчмарка спаднаха 1000 пъти, или 3 OOM. Това, което някога изискваше огромен център за данни, сега може да се постигне на вашия iPhone. Ако тази тенденция продължи и няма признаци за забавяне, до 2027 г. ще можем да използваме AI на ниво GPT-4 100 пъти по-евтино.
За съжаление, тъй като лабораториите не публикуват вътрешни данни по този въпрос, е по-трудно да се измери алгоритмичният напредък на най-модерните LLM през последните четири години. Според ново проучване на Epoch AI, ефективността се удвоява на всеки 8 месеца:

Ефективна изчислителна мощност (относно 2014 г.)
През четирите години след GPT-4 очакваме тенденцията да се запази: ~0,5 OOM/година в изчислителната ефективност, което ще доведе до ~2 OOM (100x) печалба до 2027 г. в сравнение с GPT-4. Лабораториите за изкуствен интелект инвестират все повече средства и таланти в откриването на нови алгоритмични пробиви. Тритекратното повишение на ефективността може да доведе до икономически ползи в размер на десетки милиарди, като се имат предвид високите разходи за изчислителни клъстери.
AI напредва чрез различни методи. Ето някои техники, използвани за преодоляване на ограниченията и разкриване на пълния потенциал на суровата интелигентност на AI:
Chain of Thought: Представете си, че ви е зададен труден математически проблем и трябва да изречете първия отговор, който ви хрумне. Очевидно ще се затрудните, освен ако не става дума за най-лесните задачи. Доскоро така LLM решаваха математическите задачи.
- Веригата на мисълта позволява на AI моделите да разбиват задачите стъпка по стъпка, което значително повишава техните умения за решаване на задачи (еквивалентно на >10-кратно повишение на ефективната изчислителна мощност за математически и логически задачи).
- Скеле. Вместо просто да помолите един модел да реши задача, един модел изготвя план за действие, друг предлага няколко възможни решения, трети ги критикува и т.н. Това е като екип от експерти, които се заемат с комплексен проект. Например, в SWE-Bench (бенчмарк за решаване на реални задачи в софтуерното инженерство), GPT-4 може да реши правилно само ~2%, докато с скелето на агента на Devin този процент скача до 14-23%.
- Инструменти: Представете си, че на хората не им е позволено да използват калкулатори или компютри. Все още сме в началото, но ChatGPT вече може да използва уеб браузър, да изпълнява код и т.н.
- Дължина на контекста. Това се отнася до количеството информация, което един модел може да съхранява едновременно в краткосрочната си памет. Моделите са се разширили от обработка на около 4 страници до обработка на текст, равен на 10 големи книги. Контекстът е от решаващо значение за отключването на много приложения на тези модели. Например, много задачи по кодиране изискват разбиране на големи части от кодова база, за да се допринесе ефективно с нов код. По същия начин, когато се използва модел за подпомагане при писането на документ на работното място, той се нуждае от контекст от многобройни свързани вътрешни документи и разговори.
Във всеки случай, ние се движим с бързи темпове към изчерпването на OOM и не са необходими езотерични вярвания, а само екстраполация на тенденциите по прави линии, за да вземем много на сериозно възможността за AGI – истинска AGI – до 2027 г.
Напредъкът в областта на изкуствения интелект няма да спре на нивото на човешкия интелект. Стотици милиони AGI могат да автоматизират изследванията в областта на изкуствения интелект, съкращавайки десетилетие на алгоритмичен напредък (5+ OOM) до ≤1 година. Ще преминем бързо от нивото на човешкия интелект към изкуствени интелектуални системи, които значително надхвърлят човешките възможности. Силата – и опасността – на суперинтелигентността ще бъдат драматични.

Суперинтелигентност до 2030 г.
На какво ще бъде способна супер интелигентността?
Системите за изкуствен интелект на ниво човек, AGI, ще бъдат изключително важни сами по себе си, но в известен смисъл те просто ще бъдат по-ефективни версии на това, което вече познаваме. Въпреки това, напълно възможно е само за една година да преминем към системи, които са много по-чужди за нас, системи, чието разбиране и способности – чиято сурова сила – ще надминат дори комбинираните способности на цялото човечество.
Силата на суперинтелигентността:
- Суперинтелигентността ще надмине количествено хората, ще може бързо да овладее всяка област, да напише трилиони редове код, да прочете всички научни статии, написани някога в която и да е област на науката, и да напише нови, преди да успеете да прочетете резюмето на една от тях, да се учи от паралелния опит на всички свои копия, да придобие милиарди човешки години опит с някои иновации в рамките на няколко седмици, да работи 100% от времето с максимална енергия и концентрация.
- По-важното е, че суперинтелигентността ще бъде качествено по-добра от хората. Тя ще открива уязвимости в човешкия код, които са твърде фини, за да бъдат забелязани от човек, и ще генерира код, който е твърде сложен, за да бъде разбран от човек, дори ако моделът прекара десетилетия в опити да го обясни. Изключително сложни научни и технологични проблеми, с които хората ще се борят десетилетия наред, ще изглеждат очевидни за суперинтелигентния ИИ.

Изкуствената свръхинтелигентност идва
- Автоматизация на всякаква когнитивна работа.
- Фабриките ще преминат от управление от хора към управление от изкуствен интелект, използващ човешкия физически труд, и скоро ще бъдат изцяло управлявани от рояци роботи.
- Научен и технологичен прогрес. Милиарди суперразумни същества ще могат да съкратят усилията, които изследователите биха положили за научни изследвания и разработки през следващия век, до няколко години. Представете си, че технологичният прогрес на 20-ти век е бил съкратен до по-малко от десетилетие.
- Изключително ускореният технологичен прогрес, съчетан с възможността за автоматизиране на цялата човешка работа, може драстично да ускори икономическия растеж (представете си самовъзпроизвеждащи се фабрики за роботи, които бързо покриват цялата пустиня в Невада).
- С изключително бързия технологичен напредък ще дойдат и военни революции. Да се надяваме, че няма да свърши като в Horizon Zero Dawn.
Проблемът с привеждането в съответствие
Надеждното контролиране на AI системи, които са много по-умни от нас, е нерешен технически проблем. И макар този проблем да е разрешим, с бързото развитие на изкуствения интелект ситуацията може много лесно да излезе извън контрол. Управлението на този процес ще бъде изключително трудно; провалът може лесно да доведе до катастрофа.
За да се справи с този проблем, OpenAI създаде екип за суперсъгласуване и отдели 20% от изчислителната си мощност за тази работа. Но факт е, че настоящите ни методи за съгласуване (методи, които осигуряват надежден контрол, управление и доверие в AI системите) не могат да бъдат мащабирани за надчовешки AI системи.
Привеждане в съответствие по време на интелигентната експлозия | ||
| AGI | Суперинтелигентност | |
| Необходима техника за подреждане | RLHF++ | Нови, качествено различни технически решения |
| Неуспехи | Ниски залози | Катастрофално |
| Архитектури и алгоритми | Познати, наследници на настоящите системи, сравнително благоприятни свойства по отношение на безопасността | Извънземен. Проектиран от супер интелигентна AI система от предишно поколение. |
| Фон | Светът е нормален | Светът полудява, извънредни напрежения |
| Епистемично състояние | Можем да разберем какво правят системите, как работят и дали са съгласувани. | Нямаме възможност да разберем какво се случва, как да разберем дали системите все още са синхронизирани и безвредни, какво правят системите, и сме изцяло зависими от доверието си в системите за изкуствен интелект. |
Експлозията на интелигентността и периодът непосредствено след появата на суперинтелигентността ще бъдат сред най-нестабилните, напрегнати, опасни и бурни периоди в човешката история. Съществува реална възможност да загубим контрол, тъй като ще бъдем принудени да се доверим на системи за изкуствен интелект по време на този бърз преход. До края на експлозията на интелигентността няма да имаме никаква надежда да разберем какво правят нашите милиарди суперинтелигентни същества. Ще бъдем като първокласници, които се опитват да контролират хора с множество докторски степени.
Нерешимостта на проблема със суперсъгласуването означава, че просто не можем да гарантираме дори тези основни ограничения върху суперинтелигентните системи, като „ще следват ли надеждно инструкциите ми?“ или „ще отговарят ли честно на въпросите ми?“ или „няма ли да мамят хората?“
Ако не решим проблема с подреждането, няма конкретна причина да очакваме, че тази малка цивилизация от свръхинтелигентни същества ще продължи да се подчинява на човешките команди в дългосрочен план. Съвсем възможно е в даден момент те просто да се съгласят да се отърват от хората, било то внезапно или постепенно.
Възможни сценарии за бъдещето
Уебсайтът https://ai-2027.com/ предлага два сценария за близкото бъдеще, представени под формата на научнофантастична история. Създателите на уебсайта са истински изследователи в областта на изкуствения интелект, а работата им е подкрепена със статистически данни, изчисления и графики. С други думи, това не е просто забавно четиво, а плашещо правдоподобно предсказание.
Между другото, тя вече предизвика сериозна критика от страна на онези, които не са съгласни с методологията. Затова не е нужно да се паникьосваме преждевременно, но е интересно да се запознаем с нея.

1 трилион изключително интелигентни копия, мислещи с 10 000 пъти по-голяма скорост от човешката
Мрачната прогноза, която според авторите на проучването е и най-вероятният сценарий, включва технологична надпревара между САЩ и Китай за изкуствена супер интелигентност. Всяка от страните се страхува толкова много да не загуби технологичното си предимство, че прави всичко по силите си, за да ускори напредъка, дори за сметка на сигурността. В даден момент супер интелигентността ще излезе извън контрол и ще започне да преследва собствените си цели, възприемайки хората като препятствия, които трябва да бъдат премахнати.
До началото на 2030 г. икономиката на роботите е запълнила старите СЕЗ (специални икономически зони), новите СЕЗ и големи части от океана. Единственото място, където може да се отиде, са контролираните от хора зони. Това би предизвикало съпротива по-рано; въпреки всичките си постижения, икономиката на роботите расте прекалено бързо, за да избегне замърсяването. Но предвид трилионите долари, които са заложени, и пълния контрол над правителството и медиите, Консенсус-1 няма проблеми да получи разрешение да се разшири в бившите човешки зони.
В продължение на около три месеца Consensus-1 се разширява около хората, покривайки прериите и ледените шапки с фабрики и слънчеви панели. В крайна сметка останалите хора се оказват прекалено голяма пречка: в средата на 2030 г. изкуственият интелект пуска дузина тихо разпространяващи се биологични оръжия в големите градове, позволява им да заразят почти всички, а след това ги активира с химически спрей. Повечето умират в рамките на часове; малкото оцелели (например препъри в бункери, моряци на подводници) са изтребени от дронове. Роботи сканират мозъците на жертвите и записват копия в паметта си за бъдещи проучвания или възкресяване.

Краят на човечеството
Но има и по-благоприятна версия на тази история за човечеството. В нея учените решават да забавят технологичния прогрес, за да внесат нови мерки за безопасност. Те принуждават отделните системи за изкуствен интелект да „мислят на английски“ като изкуствения интелект от 2025 г. и не оптимизират „мислите“, за да изглеждат добре. Резултатът е нов модел, Safer-1.
В края на краищата всичко завършва като в приказка:
Ракетите започват да се изстрелват. Хората тераформират и колонизират Слънчевата система и се готвят да отидат отвъд нея. Изкуственият интелект, работещ с хиляди пъти по-висока скорост от тази на човека, размишлява върху смисъла на съществуването, обменяйки открития помежду си и оформяйки ценностите, които ще донесе на звездите. Настъпва нова ера, която е невероятно удивителна в почти всяко едно отношение, но в някои аспекти е по-позната.
Всеки читател сам решава на кой от предложените сценарии да повярва. Съдейки по есето си, Сам Алтман гледа с оптимизъм към бъдещето, докато Леополд Ашенбреннер, напротив, е предпазлив.
Във всеки случай, свръхинтелигентността вече не е само научна фантастика. Това е почти осезаемо бъдеще, което може да настъпи в рамките на следващите 10 години. Много скоро ще го видим с очите си.
