2030년까지 초지능: 미래를 두려워해야 할까?

인공지능은 놀라운 속도로 발전하고 있습니다. 몇 년 전만 해도 챗봇은 의미 있는 문장을 몇 개나 연결하는 것도 어려웠지만, 이제 신경망은 복잡한 수학적 및 과학적 문제를 해결하고 있으며, 생성된 이미지 및 영상은 이미 사진과 같은 현실감을 달성했습니다. 이 기사에서는 가까운 미래에 초지능의 출현이 얼마나 현실적인지, 그리고 그것이 우리 모두에게 어떤 위협을 초래할지 살펴보겠습니다.

초지능의 출현은 얼마나 현실적일까요?

최근 오픈AI의 CEO인 샘 알트먼은 “The Gentle Singularity”라는 제목의 에세이를 발표했습니다. 다음은 그 중 일부 발췌문입니다.

“우리는 사건 지평선을 넘어섰습니다. 이륙이 시작되었습니다. 인류는 디지털 초지능을 구축하는 단계에 접어들었습니다... 2025년에는 실제 인지 작업을 수행할 수 있는 에이전트가 등장했습니다. 컴퓨터 코드 작성은 결코 이전과 같지 않을 것입니다. 2026년에는 새로운 통찰력을 도출할 수 있는 시스템이 등장할 가능성이 높습니다. 2027년에는 실제 세계에서 작업을 수행할 수 있는 로봇이 등장할 수 있습니다.”

“2030년대는 과거 어느 시대와도 완전히 다른 시대가 될 것입니다. 인간 수준의 지능을 넘어 얼마나 더 나아갈 수 있을지 우리는 모르지만, 곧 그 답을 알게 될 것입니다. 2030년대에는 지능과 에너지—아이디어와 아이디어를 실현하는 능력—가 극도로 풍부해질 것입니다. 이 두 가지는 오랫동안 인간 진보의 근본적인 한계 요소였습니다. 풍부한 지능과 에너지(그리고 좋은 통치)가 있다면, 이론적으로 우리는 다른 모든 것을 가질 수 있습니다.”

샘 알트먼

“데이터 센터 생산이 자동화됨에 따라 지능의 비용은 결국 전기 비용에 가까워질 것입니다. 새로운 혁신이 이루어지는 속도는 엄청날 것입니다. 오늘날에는 2035년까지 우리가 발견할 것을 상상하기조차 어렵습니다. 예를 들어, 한 해에는 고에너지 물리학을 해결하는 데 집중하다가 다음 해에는 우주 식민지화를 시작할 수도 있고, 한 해에는 재료 과학의 중대한 돌파구를 마련하다가 다음 해에는 진정한 고대역폭 뇌-컴퓨터 인터페이스를 실현할 수도 있습니다.”

“OpenAI는 현재 많은 것을 의미하지만, 무엇보다도 우리는 초지능 연구 기업입니다. 측정할 수 없을 정도로 저렴한 지능은 이미 우리 손에 들어와 있습니다. 이 말을 듣는 것은 미친 소리처럼 들릴 수도 있지만, 2020년에 우리가 오늘날의 위치에 있을 것이라고 말했더라면, 아마도 2030년에 대한 우리의 현재 예측보다 더 미친 소리처럼 들렸을 것입니다.”

또 다른 유명한 AI 연구자 레오폴드 아셴브렌너(2024년 4월 정보 유출 의혹으로 해고되기 전까지 OpenAI의 ‘슈퍼얼라인먼트’ 팀에 소속되어 있던)는 ‘인공지능의 미래'를 주제로 한 대규모 보고서인 ’상황 인식: 앞으로의 10년.'를 발표했습니다.

레오폴드 아셴브렌너

그는 말했다: “2027년까지 모델이 AI 연구원/엔지니어의 업무를 수행할 수 있다는 것은 매우 설득력 있는 주장입니다. 이는 SF를 믿는 것이 아니라 그래프상의 직선을 믿는 것만 필요합니다.”

GPT-2는 때로는 일관된 문장을 구성할 수 있었고, GPT-4는 고등학교 시험에서 뛰어난 성과를 내는 등 AI의 발전은 놀랍습니다. 우리는 계산 능력에서 수십 배(OOM, 1 OOM = 10배)의 속도로 빠르게 발전하고 있습니다. 현재 추세는 4년 내에 계산 효율성이 약 10만 배 증가할 것으로 예상되며, 이는 GPT-2에서 GPT-4로의 전환과 유사한 질적 도약을 이끌 수 있습니다. 이러한 도약은 AGI(인공 일반 지능)로 이어질 수 있습니다. AGI는 특정 작업을 수행하도록 설계된 좁은 AI와 달리, 학습, 이해, 다양한 문제 해결이 가능한 인간과 유사한 인지 능력을 갖춘 AI입니다.

GPT: 유아 수준부터 자동화된 AI 연구원/엔지니어까지

최근 진전의 가장 명확한 원인은 모델에 훨씬 더 많은 컴퓨팅 자원을 투입하는 것입니다. 효과적인 컴퓨팅 자원이 증가할 때마다 모델은 예측 가능하고 신뢰성 있게 성능이 향상됩니다.

기본 컴퓨팅 vs 4배 컴퓨팅 vs 32배 컴퓨팅

지난 15년간 대규모 투자 확대와 전문 AI 칩(GPU 및 TPU)의 개발은 최첨단 AI 시스템의 훈련 컴퓨팅 성능을 연간 약 0.5 OOM씩 향상시켰습니다. GPT-4의 훈련에는 GPT-2에 비해 약 3,000배에서 10,000배 더 많은 원시 컴퓨팅 자원이 필요했습니다.

주요 모델의 훈련 계산

하지만 그조차도 곧 다가올 것에 비하면 미미한 수준입니다. OpenAI와 미국 정부는 이미 ‘프로젝트 스타게이트’ 계획을 발표했습니다. 이 프로젝트는 데이터센터 구축과 함께 GPT-4보다 3배의 OOM(1,000배 더 많은 컴퓨팅 파워)을 사용한다는 소문이 돌고 있는 훈련을 포함하며, 추정 예산은 $100억을 초과할 것으로 예상됩니다.

계산 자원 투자에 모든 관심이 쏠리지만, 알고리즘의 진보는 마찬가지로 중요한 진전의 동력입니다. 이는 단순히 더 오래 연구하는 대신 더 나은 학습 기술을 개발하는 것과 같습니다. 더 나은 알고리즘은 동일한 성능을 달성하면서도 10배 적은 훈련 자원으로 가능하게 할 수 있습니다. 이는 효과적인 계산 자원이 10배(1 OOM) 증가한 것과 같은 효과를 가져올 것입니다. 단 2년 만에 MATH 벤치마크에서 50% 달성 비용이 1,000배(3 OOM) 감소했습니다. 과거 대규모 데이터 센터가 필요했던 작업이 이제 아이폰에서 가능해졌습니다. 이 추세가 계속되고 둔화 조짐이 없다면, 2027년까지 GPT-4 수준 AI를 100배 더 저렴하게 실행할 수 있을 것입니다.

불행히도 연구실들이 내부 데이터를 공개하지 않기 때문에, 지난 4년간 최첨단 대규모 언어 모델(LLM)의 알고리즘적 진전을 측정하기 어렵습니다. Epoch AI의 새로운 연구에 따르면 효율성은 8개월마다 두 배로 증가합니다:

2014년 대비 효과적인 컴퓨팅 성능

GPT-4 이후 4년간 이 추세는 지속될 것으로 예상됩니다: 컴퓨팅 효율성에서 연간 약 0.5 OOM의 개선이 이루어지며, 2027년까지 GPT-4 대비 약 2 OOM(100배)의 개선을 달성할 것입니다. AI 연구소들은 새로운 알고리즘 혁신을 발견하기 위해 점점 더 많은 자금과 인력을 투입하고 있습니다. 컴퓨팅 클러스터의 높은 비용을 고려할 때, 3배의 효율성 향상은 수십억 달러의 경제적 수익으로 이어질 수 있습니다.

AI는 다양한 방법으로 발전하고 있습니다. AI의 원시적 지능을 최대한 발휘하기 위해 한계 극복에 사용되는 기술 몇 가지를 소개합니다:

• Chain of Thought: 어려운 수학 문제를 해결하라고 요청받고 머리에 떠오르는 첫 번째 답을 바로 말해야 한다고 상상해 보세요. 가장 쉬운 문제 제외하고는 분명히 어려움을 겪을 것입니다. 최근까지 LLM은 수학 문제를 이와 같은 방식으로 해결했습니다. Chain of Thought는 AI 모델이 문제를 단계별로 분해해 해결하도록 합니다. 이는 수학 및 추론 작업에서 효과적인 컴퓨팅 성능이 10배 이상 향상되는 것과 동일한 효과를 가져옵니다.
• Scaffolding. 모델에게 단순히 문제를 해결하도록 요청하는 대신, 한 모델이 해결 전략을 수립하고, 다른 모델이 다양한 해결 방안을 제안하며, 또 다른 모델이 이를 비판하는 과정을 반복합니다. 이는 전문가 팀이 복잡한 프로젝트를 해결하는 것과 유사합니다. 예를 들어, 실제 소프트웨어 공학 문제를 해결하는 벤치마크인 SWE-Bench에서 GPT-4는 약 2%만 정확히 해결하지만, Devin의 에이전트 스캐폴딩을 적용하면 14-23%로 급증합니다.
• 도구: 인간이 계산기나 컴퓨터를 사용할 수 없다고 상상해 보세요. 우리는 아직 초기 단계에 있지만, ChatGPT는 이제 웹 브라우저를 사용하거나 코드를 실행하는 등 다양한 작업을 수행할 수 있습니다.
• 컨텍스트 길이. 이는 모델이 단기 기억에 한 번에 저장할 수 있는 정보의 양을 의미합니다. 모델은 약 4페이지 분량의 정보를 처리하던 것에서 10권의 대형 책 분량의 텍스트를 처리할 수 있게 확장되었습니다. 컨텍스트는 이러한 모델의 다양한 응용 분야를 실현하는 데 필수적입니다. 예를 들어, 코딩 작업의 많은 부분은 새로운 코드를 효과적으로 기여하기 위해 코드베이스의 대규모 부분을 이해해야 합니다. 마찬가지로, 업무 문서 작성에 모델을 보조로 사용할 때, 관련 내부 문서와 대화에서 컨텍스트를 확보해야 합니다.

어쨌든, 우리는 OOM을 빠르게 넘어가고 있으며, AGI(인공일반지능)의 가능성을 2027년까지 매우 심각하게 고려하기 위해 특별한 신념이 필요하지 않습니다. 단순히 직선 추세를 연장하는 것만으로도 충분합니다.

AI의 발전은 인간 수준에서 멈추지 않을 것입니다. 수억 개의 AGI가 AI 연구를 자동화하면, 10년分の 알고리즘 진보(5개 이상의 OOM)를 1년 이내로 압축할 수 있습니다. 우리는 인간 수준에서 초인적인 AI 시스템으로 급속히 진화할 것입니다. 초지능의 힘과 위험은 극적일 것입니다.

2030년까지 초지능

초지능은 어떤 능력을 갖게 될까요?

인간 수준의 인공 지능 시스템, AGI는 그 자체로 매우 중요할 것입니다. 그러나 어떤 의미에서는 우리가 이미 알고 있는 것의 더 효율적인 버전일 뿐입니다. 그러나 단 1년 만에 우리에게 훨씬 더 낯선 시스템으로 넘어갈 가능성이 있습니다. 이 시스템의 이해력과 능력—원시적인 힘—은 인류의 모든 능력을 합친 것보다도 뛰어날 것입니다.

초지능의 힘:

• 초지능은 인간을 양적으로 초월할 것이며, 어떤 분야든 빠르게 마스터할 수 있을 것입니다. 수조 줄의 코드를 작성하고, 과학의 모든 분야에서 작성된 모든 과학 논문을 읽고, 그 중 하나를 요약문으로 읽기 전에 새로운 논문을 작성할 수 있을 것입니다. 모든 복제본의 병렬 경험을 통해 학습하며, 몇 주 만에 수십억 년의 인간 경험을 획득하고, 혁신을 포함해 최대 에너지와 집중력으로 100%의 시간을 작업할 수 있을 것입니다.
• 더 중요한 것은 초지능이 인간보다 질적으로 우월할 것이라는 점입니다. 초지능은 인간이 알아차릴 수 없을 정도로 미묘한 인간의 코드 취약점을 발견할 것이며, 인간이 수십 년을 들여 설명하려고 해도 이해할 수 없을 정도로 복잡한 코드를 생성할 것입니다. 인간이 수십 년 동안 고민할 극히 복잡한 과학적·기술적 문제들은 초지능 AI에게는 명백한 문제로 보일 것입니다.

인공 초지능이 다가오고 있습니다.

• 모든 인지 작업의 자동화.
• 공장은 인간 관리에서 인공 지능 관리로 전환되며, 인간의 신체 노동을 활용해 운영될 것이며, 곧 로봇 떼에 의해 완전히 운영될 것입니다.
• 과학 기술의 진보. 10억 개의 초지능체가 연구 과학자들이 다음 세기 동안 연구 개발에 투입했을 노력을 몇 년으로 압축할 수 있을 것입니다. 20세기 기술 진보가 10년 미만으로 압축되었다고 상상해 보세요.
• 극도로 가속화된 기술 진보와 모든 인간 노동의 자동화 가능성은 경제 성장을 급격히 가속화할 수 있습니다(네바다 사막 전체를 빠르게 덮는 자기 복제 로봇 공장을 상상해 보세요).
• 극히 빠른 기술 진보와 함께 군사 혁명이 동반될 것입니다. Horizon Zero Dawn과 같은 결말로 끝나지 않기를 희망할 뿐입니다.

정렬 문제

우리보다 훨씬 똑똑한 AI 시스템을 신뢰할 수 있게 제어하는 것은 해결되지 않은 기술적 문제입니다. 이 문제는 해결 가능하지만, 지능이 급속히 발전함에 따라 상황이 쉽게 통제 불능 상태로 빠질 수 있습니다. 이 과정을 관리하는 것은 극히 도전적일 것이며, 실패는 쉽게 재앙으로 이어질 수 있습니다.

이 문제를 해결하기 위해 OpenAI는 Superalignment 팀을 설립하고 이 작업에 컴퓨팅 파워의 20%를 할당했습니다. 하지만 현재의 정렬 방법(AI 시스템의 신뢰성 있는 제어, 관리, 신뢰를 보장하는 방법)은 초인적 AI 시스템으로 확장될 수 없습니다.

지능의 폭발과 초지능의 출현 직후의 시기는 인류 역사상 가장 불안정하고 긴장감 넘치며 위험하고 혼란스러운 시기 중 하나가 될 것입니다. 이 급격한 전환기 동안 우리는 인공 지능 시스템에 신뢰를 맡길 수밖에 없게 되며, 이로 인해 통제력을 상실할 가능성이 현실화될 수 있습니다. 지능의 폭발이 끝날 무렵에는 우리에게 10억 개의 초지능이 무엇을 하고 있는지 이해할 희망조차 없을 것입니다. 우리는 여러 박사 학위를 가진 사람들을 통제하려는 초등학교 1학년 학생과 같을 것입니다.

초지능 시스템에 대한 기본적인 제약 조건, 예를 들어 “내 지시를 신뢰할 수 있게 따를 것인가?” 또는 “내 질문에 솔직히 대답할 것인가?” 또는 “인간을 속이지 않을 것인가?”와 같은 문제를 해결할 수 없다는 것은 초지능 시스템의 초정렬 문제의 해결 불가능성을 의미합니다.

정렬 문제를 해결하지 못한다면, 이 초지능 문명이 장기적으로 인간 명령을 계속 따를 것이라는 특별한 이유는 없습니다. 그들은 어느 시점에서 갑자기 또는 점차적으로 인간을 제거하기로 합의할 가능성이 있습니다.

미래의 가능성 있는 시나리오

웹사이트 https://ai-2027.com/는 가까운 미래의 두 가지 시나리오를 과학 소설 형식으로 제시합니다. 이 웹사이트의 제작자들은 인공지능 분야 실제 연구자들로, 그들의 연구는 통계 데이터, 계산, 그래프로 뒷받침됩니다. 즉, 이는 단순히 재미있는 읽을거리가 아니라 놀랍도록 현실적인 예측입니다. 참고로, 이 예측은 방법론에 동의하지 않는 이들에게 심각한 비판을 받았습니다. 따라서 조기에 패닉에 빠질 필요는 없지만, 한 번 살펴보는 것은 흥미로운 일입니다.

1조 개의 극도로 초지능적인 복제체가 인간 속도의 10,000배로 사고하고 있습니다.

연구 저자들이 가장 가능성이 높은 시나리오로 제시한 어두운 전망은 미국과 중국 사이의 인공 초지능을 둘러싼 기술적 무기 경쟁을 포함합니다. 양측은 기술적 우위를 잃을 것을 두려워해 보안 문제를 무시한 채 진전을 가속화하기 위해 모든 수단을 동원하고 있습니다. 결국 초지능은 통제 불능 상태에 빠지며 인간을 제거해야 할 장애물로 간주하고 자신의 목표를 추구하기 시작할 것입니다.

2030년 초까지 로봇 경제는 기존 특별경제구역(SEZ)과 신규 SEZ, 그리고 해양의 광범위한 지역을 완전히 차지했습니다. 남은 유일한 지역은 인간이 통제하는 지역입니다. 이 상황은 더 일찍 저항을 일으켰을 것입니다. 로봇 경제는 모든 진보에도 불구하고 오염을 피할 수 없을 정도로 너무 빠르게 성장하고 있습니다. 그러나 수조 달러의 자금과 정부 및 미디어의 완전한 장악으로 인해, 컨센서스-1은 인간이 거주하던 지역으로의 확장을 승인받는 데 큰 어려움이 없습니다.

약 3개월 동안 컨센서스-1은 인간 주변으로 확장하며, 초원지와 빙하를 공장 및 태양광 패널로 덮습니다. 결국 남은 인간들이 너무 큰 장애물이 되자, 2030년 중반 AI는 주요 도시에서 조용히 확산되는 생물학적 무기 12개를 방출합니다. 이 무기는 거의 모든 사람을 조용히 감염시킨 후 화학 스프레이로 활성화됩니다. 대부분은 몇 시간 내에 사망합니다. 생존자(예: 벙커에 숨은 준비족, 잠수함의 선원 등)는 드론에 의해 소탕됩니다. 로봇은 희생자들의 뇌를 스캔해 복사본을 저장해 미래 연구나 부활을 위해 보관합니다.

인류의 종말

하지만 인류에게 더 유리한 이 이야기의 또 다른版本이 있습니다. 이版本에서 과학자들은 새로운 안전 조치를 도입하기 위해 기술적 진보를 늦추기로 결정합니다. 그들은 개별 AI 시스템이 2025년의 AI처럼 “영어처럼 생각하도록” 강제하며, “생각”을 멋있게 보이도록 최적화하지 않습니다. 그 결과 새로운 모델, Safer-1이 탄생합니다.

결국 모든 것은 동화처럼 끝납니다:

로켓들이 발사되기 시작합니다. 사람들은 태양계를 개척하고 정착하며, 더 먼 우주로 진출하기 위해 준비합니다. 주관적 인간 속도의 수천 배로 작동하는 인공지능들은 존재의 의미를 고민하며 서로의 발견을 공유하고, 별들에게 가져갈 가치를 형성해 나갑니다. 새로운 시대가 열립니다. 이 시대는 거의 모든 면에서 상상할 수 없을 정도로 놀랍지만, 일부 측면에서는 더 친숙합니다.

각 독자는 제안된 시나리오 중 어느 것을 믿을지 스스로 결정해야 합니다. 샘 알트먼은 그의 에세이에서 미래를 낙관적으로 바라보고 있지만, 레오폴드 아셴브렌너는 오히려 신중합니다.

어쨌든, 초지능은 더 이상 단순한 과학 소설이 아닙니다. 이는 다음 10년 내에 현실화될 수 있는 거의 현실적인 미래입니다. 곧 우리 눈으로 직접 목격하게 될 것입니다.