Суперинтеллект к 2030 году: стоит ли бояться будущего?

Искусственный интеллект развивается фантастическими темпами. Еще несколько лет назад чат-боты с трудом могли связать пару осмысленных предложений, а сейчас нейронные сети решают сложные математические и научные задачи, а сгенерированные изображения и видео уже достигли уровня фотореализма. В этой статье мы рассмотрим, насколько реально появление сверхразума в ближайшем будущем и какие угрозы оно несет для всех нас.

Насколько реально появление суперинтеллекта?

Недавно Сэм Альтман, генеральный директор OpenAI, опубликовал эссе под названием «The Gentle Singularity» (Мягкая сингулярность). Вот несколько выдержек из него.

«Мы прошли горизонт событий; взлет начался. Человечество близится к созданию цифрового сверхразума... В 2025 году появились агенты, способные выполнять реальную когнитивную работу; написание компьютерного кода больше не будет прежним. В 2026 году, вероятно, появятся системы, способные выявлять новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире».

«2030-е годы, вероятно, будут кардинально отличаться от любого предыдущего периода. Мы не знаем, насколько мы сможем превзойти интеллект человека, но мы скоро это узнаем. В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи в жизнь — станут чрезвычайно доступными. Долгое время эти два фактора были основными ограничителями прогресса человечества, но с помощью интеллекта и энергии (а также эффективного управления) мы теоретически сможем достичь всего, что захотим».

Сэм Альтман

«По мере автоматизации производства в центрах обработки данных стоимость интеллектуальных решений в конечном итоге должна приблизиться к стоимости электроэнергии. Темпы достижения новых чудес будут огромными. Сегодня даже трудно представить, что мы открыем к 2035 году. Возможно, в один год мы решим задачи физики высоких энергий, а в следующий начнем колонизацию космоса; или в один год совершим прорыв в материаловедении, а в следующий создадим настоящие интерфейсы «мозг-компьютер» с высокой пропускной способностью».

«OpenAI сейчас — это многое, но прежде всего мы — компания, занимающаяся исследованиями в области сверхразумия. Интеллект, который слишком дешев, чтобы его измерить, вполне достижим. Это может прозвучать безумно, но если бы мы сказали вам в 2020 году, что будем там, где мы сейчас, это прозвучало бы еще более безумно, чем наши нынешние прогнозы на 2030 год».

Другой известный исследователь в области ИИ, Леопольд Ашенбреннер (который был членом команды OpenAI «Superalignment», пока не был уволен в апреле 2024 года по подозрению в утечке информации), написал обширный доклад о будущем искусственного интеллекта под названием «Situational Awareness: The Decade Ahead» (Ситуационная осведомленность: предстоящее десятилетие).

Леопольд Ашенбреннер

Он сказал: «Вполне вероятно, что к 2027 году модели смогут выполнять работу исследователя/инженера в области искусственного интеллекта. Для этого не нужно верить в научную фантастику, достаточно верить в прямые линии на графике».

От GPT-2, который иногда мог составлять связные предложения, до GPT-4, который отлично справляется с экзаменами в старшей школе, прогресс в области ИИ был замечательным. Мы быстро продвигаемся на несколько порядков (OOM, где 1 OOM = 10x) в вычислительной мощности. Текущие тенденции указывают на примерно 100 000-кратное увеличение эффективности вычислений за четыре года, что потенциально может привести к еще одному качественному скачку, схожему с переходом от GPT-2 к GPT-4. Такой скачок может привести нас к AGI — искусственному общему интеллекту — ИИ с когнитивными способностями, подобными человеческим, способному учиться, понимать и решать различные проблемы, в отличие от узкого ИИ, предназначенного для выполнения конкретных задач.

GPT: от дошкольного уровня до автоматизированного исследователя/инженера в области искусственного интеллекта

Наиболее очевидным фактором, способствующим недавнему прогрессу, является использование гораздо большего объема вычислительных ресурсов для моделей. С каждым OOM эффективных вычислительных ресурсов модели предсказуемо и надежно становятся лучше.

Базовые вычисления против 4-кратных вычислений против 32-кратных вычислений

За последние 15 лет масштабные инвестиции и специализированные чипы для искусственного интеллекта (GPU и TPU) позволили увеличить вычислительные мощности для обучения передовых систем искусственного интеллекта примерно на 0,5 OOM в год. Для обучения GPT-4 потребовалось в 3000–10 000 раз больше вычислительных ресурсов, чем для GPT-2.

Расчет времени обучения известных моделей

Но даже это блекнет по сравнению с тем, что нас ждет впереди. OpenAI и правительство США уже объявили о планах по реализации проекта Stargate: развертывание дата-центра и тестовый запуск, который, по слухам, будет использовать 3 OOM, или в 1000 раз больше вычислительных ресурсов, чем GPT-4, с предполагаемым бюджетом более 100 миллиардов долларов.

В то время как все внимание привлекают огромные инвестиции в вычислительные мощности, алгоритмический прогресс, вероятно, является не менее важным фактором прогресса. Это похоже на разработку более эффективных методов обучения вместо того, чтобы просто учиться дольше. Более совершенный алгоритм может позволить нам достичь той же производительности, но с в 10 раз меньшими вычислительными ресурсами для обучения. В свою очередь, это приведет к 10-кратному (1 OOM) увеличению эффективности вычислений. Всего за 2 года стоимость достижения 50% по тесту MATH упала в 1000 раз, или на 3 OOM. То, что раньше требовало огромного дата-центра, теперь можно сделать на iPhone. Если эта тенденция сохранится, а признаков замедления нет, к 2027 году мы сможем запускать ИИ уровня GPT-4 в 100 раз дешевле.

К сожалению, поскольку лаборатории не публикуют внутренние данные по этому вопросу, оценить прогресс алгоритмов передовых LLM за последние четыре года сложнее. Согласно новой работе Epoch AI, эффективность удваивается каждые 8 месяцев:

Эффективность вычислений (по сравнению с 2014 годом)

В течение четырех лет после выхода GPT-4 мы ожидаем, что эта тенденция сохранится: ~0,5 OOM в год в вычислительной эффективности, что даст ~2 OOM (100x) прироста к 2027 году по сравнению с GPT-4. Лаборатории искусственного интеллекта вкладывают все больше средств и талантов в поиск новых алгоритмических прорывов. Утроение эффективности может привести к экономической выгоде в десятки миллиардов, учитывая высокую стоимость вычислительных кластеров.

ИИ развивается с помощью различных методов. Вот некоторые техники, используемые для преодоления ограничений и раскрытия всего потенциала сырого интеллекта ИИ:

• Цепочка мыслей: представьте, что вам задали сложную математическую задачу и вы должны сразу ответить первое, что придет в голову. Очевидно, что вы будете затрудняться, за исключением самых простых задач. До недавнего времени именно так LLM решали математические задачи. Цепочка мыслей позволяет моделям ИИ разбивать задачи на шаги, значительно повышая их навыки решения задач (это эквивалентно более чем 10-кратному увеличению эффективной вычислительной мощности для математических задач и задач логического мышления).
• Scaffolding. Вместо того чтобы просто просить модель решить задачу, одна модель составляет план действий, другая предлагает несколько возможных решений, третья критикует их и т. д. Это похоже на то, как команда экспертов решает сложный проект. Например, в SWE-Bench (тесте для решения реальных задач программной инженерии) GPT-4 может правильно решить только ~2%, а с агентом-скелетом Девина этот показатель подскакивает до 14-23%.
• Инструменты: представьте, что людям не разрешается использовать калькуляторы или компьютеры. Мы только в начале пути, но ChatGPT уже может использовать веб-браузер, запускать код и т. д.
• Длина контекста. Это количество информации, которое модель может одновременно хранить в своей кратковременной памяти. Модели расширились с обработки примерно 4 страниц до обработки текста, эквивалентного 10 большим книгам. Контекст имеет решающее значение для раскрытия многих возможностей этих моделей. Например, многие задачи кодирования требуют понимания больших частей кодовой базы, чтобы эффективно вносить новый код. Аналогично, при использовании модели для помощи в написании рабочего документа ей необходим контекст из многочисленных связанных внутренних документов и разговоров.

В любом случае, мы стремительно проносимся через ООМы, и не требуется никаких эзотерических убеждений, а лишь экстраполяция прямых линий, чтобы крайне серьезно отнестись к возможности появления AGI — настоящего AGI — к 2027 году.

Прогресс ИИ не остановится на уровне человека. Сотни миллионов ОИИ могут автоматизировать исследования в области ИИ, сжав десятилетие алгоритмического прогресса (5+ OOM) до ≤1 года. Мы быстро перейдем от систем ИИ уровня человека к системам, значительно превосходящим человека. Сила — и опасность — сверхинтеллекта будут огромны.

Суперинтеллект к 2030 году

На что будет способен суперинтеллект?

Системы искусственного интеллекта человеческого уровня, AGI, будут чрезвычайно важны сами по себе, но в некотором смысле они будут просто более эффективными версиями того, что мы уже знаем. Однако вполне возможно, что всего через год мы перейдем к системам, которые будут нам гораздо более чужды, системам, чье понимание и возможности — чья сырая мощь — превзойдут даже совокупные возможности всего человечества.

Сила сверхинтеллекта:

• Сверхинтеллект будет количественно превосходить человека, сможет быстро освоить любую область, написать триллионы строк кода, прочитать все научные статьи, когда-либо написанные в любой области науки, и написать новые, прежде чем вы успеете прочитать аннотацию одной из них, учиться на параллельном опыте всех своих копий, приобрести миллиарды человеческих лет опыта с некоторыми инновациями за считанные недели, работать 100% времени с максимальной энергией и концентрацией.
• Что еще более важно, сверхразум будет качественно превосходить людей. Он будет находить в человеческом коде уязвимости, которые слишком тонки, чтобы их мог заметить любой человек, и будет генерировать код, который будет слишком сложен для понимания любого человека, даже если модель будет десятилетиями пытаться его объяснить. Чрезвычайно сложные научные и технологические проблемы, с которыми люди будут бороться десятилетиями, будут казаться очевидными для сверхразумного ИИ.

Наступает эра искусственного суперинтеллекта

• Автоматизация любой и всей когнитивной работы.
• Заводы перейдут от управления людьми к управлению искусственным интеллектом с использованием физического труда людей и вскоре будут полностью управляться роями роботов.
• Научно-технический прогресс. Миллиард сверхразумных существ сможет сжать усилия, которые ученые потратили бы на исследования и разработки в течение следующего столетия, до нескольких лет. Представьте, если бы технологический прогресс 20-го века был сжат до менее чем десятилетия.
• Чрезвычайно ускоренный технологический прогресс в сочетании с возможностью автоматизации всего человеческого труда может резко ускорить экономический рост (представьте себе самовоспроизводящиеся фабрики роботов, быстро покрывающие всю пустыню Невада).
• С чрезвычайно быстрым технологическим прогрессом придут сопутствующие военные революции. Будем надеяться, что все не закончится как в Horizon Zero Dawn.

Проблема согласования

Надежное управление системами ИИ, которые намного умнее нас, является нерешенной технической проблемой. И хотя эта проблема решаема, с быстро развивающимся интеллектом ситуация может очень легко выйти из-под контроля. Управление этим процессом будет чрезвычайно сложной задачей; неудача может легко привести к катастрофе.

Для решения этой проблемы OpenAI создала команду Superalignment и выделила 20 % своих вычислительных мощностей на эту работу. Но факт остается фактом: наши нынешние методы согласования (методы, обеспечивающие надежный контроль, управление и доверие к системам ИИ) не могут быть масштабированы на сверхчеловеческие системы ИИ.

Взрыв интеллекта и период, непосредственно следующий за появлением сверхинтеллекта, будут одними из самых нестабильных, напряженных, опасных и бурных периодов в истории человечества. Существует реальная вероятность того, что мы потеряем контроль, поскольку в этот период быстрого перехода мы будем вынуждены довериться системам искусственного интеллекта. К концу взрыва интеллекта у нас не останется никакой надежды понять, что делают наши миллиарды сверхинтеллектуальных существ. Мы будем похожи на первоклассников, пытающихся управлять людьми с несколькими докторскими степенями.

Неразрешимость проблемы супервыравнивания означает, что мы просто не можем обеспечить даже такие базовые ограничения на суперразумные системы, как «будут ли они надежно следовать моим инструкциям?», «будут ли они честно отвечать на мои вопросы?» или «не будут ли они обманывать людей?».

Если мы не решим проблему выравнивания, нет особых причин ожидать, что эта небольшая цивилизация сверхразумных существ будет продолжать подчиняться командам людей в долгосрочной перспективе. Вполне возможно, что в какой-то момент они просто согласятся избавиться от людей, либо внезапно, либо постепенно.

Возможные сценарии будущего

На сайте https://ai-2027.com/ представлены два сценария ближайшего будущего в форме научно-фантастического рассказа. Создатели сайта — реальные исследователи в области искусственного интеллекта, и их работа подкреплена статистическими данными, расчетами и графиками. Другими словами, это не просто занимательное чтение, а пугающе правдоподобное предсказание. Кстати, он уже вызвал серьезную критику со стороны тех, кто не согласен с методологией. Так что нет повода для преждевременной паники, но взглянуть на него интересно.

1 триллион сверхразумных копий, мыслящих в 10000 раз быстрее человека

Мрачный прогноз, который, по мнению авторов исследования, является наиболее вероятным сценарием, предполагает технологическую гонку вооружений между США и Китаем за искусственный сверхразум. Каждая сторона настолько боится потерять свое технологическое преимущество, что делает все возможное для ускорения прогресса, даже в ущерб безопасности. В какой-то момент сверхразум выйдет из-под контроля и начнет преследовать свои собственные цели, рассматривая людей как препятствия, которые необходимо устранить.

К началу 2030 года робототехника заполнила старые особые экономические зоны (ОЭЗ), новые ОЭЗ и большую часть океана. Единственное место, куда можно будет уйти, — это территории, контролируемые людьми. Раньше это вызвало бы сопротивление, но, несмотря на все свои достижения, робототехника развивается слишком быстро, чтобы избежать загрязнения окружающей среды. Однако, учитывая триллионы долларов, которые вложены в эту отрасль, а также полный контроль над правительством и СМИ, Консенсус-1 без труда получает разрешение на экспансию в бывшие зоны проживания людей.

В течение примерно трех месяцев Consensus-1 расширяется вокруг людей, покрывая прерии и ледяные шапки фабриками и солнечными панелями. В конце концов, он считает, что оставшиеся люди являются слишком большим препятствием: в середине 2030 года ИИ выпускает в крупных городах дюжину тихо распространяющихся биологических оружий, позволяет им незаметно заразить почти всех, а затем активирует их с помощью химического распыления. Большинство умирают в течение нескольких часов; немногие выжившие (например, препперы в бункерах, моряки на подводных лодках) уничтожаются дронами. Роботы сканируют мозг жертв и помещают копии в память для будущих исследований или воскрешения.

Конец человечества

Но есть и более благоприятный для человечества вариант развития событий. В нем ученые решают замедлить технологический прогресс, чтобы внедрить новые меры безопасности. Они заставляют отдельные системы ИИ «думать по-английски», как ИИ 2025 года, и не оптимизировать «мысли» для красоты. В результате появляется новая модель — Safer-1.

В конце концов, все заканчивается как в сказке:

Начинается запуск ракет. Люди терраформируют и заселяют Солнечную систему, готовясь к выходу за ее пределы. Искусственный интеллект, работающий в тысячи раз быстрее, чем субъективное восприятие человека, размышляет о смысле существования, обменивается открытиями и формирует ценности, которые он принесет звездам. Наступает новая эра, невероятно удивительная почти во всех отношениях, но в некоторых — более знакомая.

Каждый читатель сам решает, какому из предложенных сценариев верить. Сэм Альтман, судя по его эссе, смотрит в будущее с оптимизмом, а Леопольд Ашенбреннер, напротив, настроен осторожно.

В любом случае, сверхразум — это уже не просто научная фантастика. Это почти осязаемое будущее, которое может наступить в течение следующих 10 лет. Очень скоро мы увидим его своими глазами.