La superintelligence d'ici 2030 : faut-il craindre l'avenir ?

L'intelligence artificielle se développe à un rythme effréné. Il y a quelques années, les chatbots pouvaient à peine aligner quelques phrases cohérentes, mais aujourd'hui, les réseaux neuronaux résolvent des problèmes mathématiques et scientifiques complexes, et les images et vidéos générées ont déjà atteint un niveau de photoréalisme impressionnant. Dans cet article, nous examinerons dans quelle mesure l'émergence de la superintelligence est réaliste dans un avenir proche et quelles menaces elle représente pour nous tous.

Dans quelle mesure l'émergence de la superintelligence est-elle réaliste ?

Récemment, Sam Altman, PDG d'OpenAI, a publié un essai intitulé « The Gentle Singularity. » En voici quelques extraits.

« Nous avons dépassé le point de non-retour ; le décollage a commencé. L'humanité est sur le point de créer une superintelligence numérique... 2025 a vu l'arrivée d'agents capables d'effectuer un véritable travail cognitif ; l'écriture de code informatique ne sera plus jamais la même. 2026 verra probablement l'arrivée de systèmes capables de dégager des idées novatrices. 2027 pourrait voir l'arrivée de robots capables d'effectuer des tâches dans le monde réel. »

« Les années 2030 seront probablement très différentes de toutes les périodes qui les ont précédées. Nous ne savons pas jusqu'où nous pourrons dépasser l'intelligence humaine, mais nous sommes sur le point de le découvrir. Dans les années 2030, l'intelligence et l'énergie – les idées et la capacité à les concrétiser – vont devenir extrêmement abondantes. Ces deux éléments ont longtemps constitué les limites fondamentales du progrès humain ; avec une intelligence et une énergie abondantes (et une bonne gouvernance), nous pouvons théoriquement obtenir tout ce que nous voulons. »

Sam Altman

« À mesure que la production des centres de données s'automatise, le coût de l'intelligence devrait finir par se rapprocher de celui de l'électricité. Le rythme des nouvelles découvertes sera effréné. Il est difficile d'imaginer aujourd'hui ce que nous aurons découvert d'ici 2035. Peut-être passerons-nous de la résolution des problèmes de physique des hautes énergies à la colonisation spatiale, ou d'une avancée majeure dans le domaine des sciences des matériaux à la mise au point d'interfaces cerveau-ordinateur à haut débit. »

« OpenAI est aujourd'hui beaucoup de choses, mais avant tout, nous sommes une entreprise de recherche en superintelligence. Une intelligence si bon marché qu'elle ne se mesure plus est à portée de main. Cela peut sembler fou, mais si nous vous avions dit en 2020 que nous en serions là aujourd'hui, cela aurait probablement semblé plus fou que nos prévisions actuelles pour 2030. »

Un autre chercheur éminent dans le domaine de l'IA, Leopold Aschenbrenner (qui faisait partie de l'équipe « Superalignment » d'OpenAI avant d'être licencié en avril 2024 pour une fuite présumée d'informations), a rédigé un rapport volumineux sur l'avenir de l'intelligence artificielle intitulé « Situational Awareness: The Decade Ahead » (Conscience situationnelle : la décennie à venir).

Leopold Aschenbrenner

Il a déclaré : « Il est tout à fait plausible que d'ici 2027, les modèles soient capables d'effectuer le travail d'un chercheur/ingénieur en IA. Cela ne nécessite pas de croire à la science-fiction, mais simplement de croire aux lignes droites d'un graphique. »

De GPT-2, qui pouvait parfois composer des phrases cohérentes, à GPT-4, qui excelle dans les examens du secondaire, les progrès de l'IA ont été remarquables. Nous progressons rapidement de plusieurs ordres de grandeur (OOM, où 1 OOM = 10x) en matière de puissance de calcul. Les tendances actuelles indiquent une augmentation d'environ 100 000 fois de l'efficacité informatique en quatre ans, ce qui pourrait potentiellement conduire à un autre saut qualitatif similaire à la transition de GPT-2 à GPT-4. Un tel saut pourrait nous conduire à l'AGI (intelligence artificielle générale), une IA dotée de capacités cognitives similaires à celles de l'homme, capable d'apprendre, de comprendre et de résoudre une variété de problèmes, par opposition à l'IA étroite conçue pour effectuer des tâches spécifiques.

GPT : du niveau préscolaire au niveau chercheur/ingénieur en IA automatisée

Le facteur le plus évident à l'origine des progrès récents est l'augmentation considérable de la puissance de calcul consacrée aux modèles. À chaque augmentation de la puissance de calcul effective, les modèles s'améliorent de manière prévisible et fiable.

Calcul de base vs calcul 4x vs calcul 32x

Au cours des 15 dernières années, des investissements massifs et la mise au point de puces spécialisées pour l'IA (GPU et TPU) ont permis d'augmenter la puissance de calcul nécessaire à l'entraînement des systèmes d'IA de pointe d'environ 0,5 OOM par an. L'entraînement du GPT-4 a nécessité environ 3 000 à 10 000 fois plus de puissance de calcul brute que celui du GPT-2.

Entraînement de modèles notables

Mais cela n'est rien comparé à ce qui nous attend. OpenAI et le gouvernement américain ont déjà annoncé leur projet Stargate : un déploiement de centres de données et une phase de formation qui, selon les rumeurs, utiliserait 3 OOM, soit 1 000 fois plus de puissance de calcul que GPT-4, avec un budget estimé à plus de 100 milliards de dollars.

Si les investissements massifs dans le calcul retiennent toute l'attention, les progrès algorithmiques sont probablement un moteur tout aussi important du progrès. C'est comme développer de meilleures techniques d'apprentissage au lieu de simplement étudier plus longtemps. Un meilleur algorithme pourrait nous permettre d'obtenir les mêmes performances avec 10 fois moins de calculs d'entraînement. Cela se traduirait par une augmentation de 10 fois (1 OOM) de la puissance de calcul effective. En seulement deux ans, le coût nécessaire pour atteindre 50 % du benchmark MATH a chuté d'un facteur 1 000, soit 3 OOM. Ce qui nécessitait autrefois un centre de données gigantesque peut désormais être réalisé sur votre iPhone. Si cette tendance se poursuit, et rien ne semble indiquer qu'elle ralentisse, d'ici 2027, nous serons en mesure d'exécuter une IA de niveau GPT-4 pour un coût 100 fois moins élevé.

Malheureusement, comme les laboratoires ne publient pas de données internes à ce sujet, il est plus difficile de mesurer les progrès algorithmiques des LLM de pointe au cours des quatre dernières années. Selon les nouvelles travaux d'Epoch AI, l'efficacité double tous les 8 mois :

Calcul efficace (par rapport à 2014)

Au cours des quatre années suivant le lancement de GPT-4, nous prévoyons que cette tendance se maintiendra : environ 0,5 OOM/an en termes d'efficacité de calcul, soit un gain d'environ 2 OOM (100 fois plus) d'ici 2027 par rapport à GPT-4. Les laboratoires d'IA investissent de plus en plus de fonds et de talents dans la découverte de nouvelles avancées algorithmiques. Une augmentation de 3 fois l'efficacité pourrait se traduire par des retombées économiques de plusieurs dizaines de milliards, compte tenu du coût élevé des clusters de calcul.

L'IA progresse grâce à diverses méthodes. Voici quelques techniques utilisées pour surmonter les limites et libérer tout le potentiel de l'intelligence brute de l'IA :

• Chaîne de pensée : imaginez qu'on vous demande de résoudre un problème mathématique difficile et que vous deviez donner la première réponse qui vous vient à l'esprit. Vous auriez évidemment du mal, sauf pour les problèmes les plus faciles. Jusqu'à récemment, c'était ainsi que les LLM abordaient les problèmes mathématiques. La chaîne de pensée permet aux modèles d'IA de décomposer les problèmes étape par étape, ce qui améliore considérablement leurs capacités de résolution (l'équivalent d'une augmentation de plus de 10 fois la puissance de calcul effective pour les tâches mathématiques et de raisonnement).
• Scaffolding. Plutôt que de simplement demander à un modèle de résoudre un problème, un modèle élabore un plan d'attaque, un autre propose plusieurs solutions possibles, un autre encore les critique, et ainsi de suite. C'est comme si une équipe d'experts s'attaquait à un projet complexe. Par exemple, sur SWE-Bench (un benchmark de résolution de tâches d'ingénierie logicielle dans le monde réel), GPT-4 ne peut résoudre correctement qu'environ 2 % des problèmes, tandis qu'avec le scaffolding de l'agent Devin, ce chiffre passe à 14-23 %.
• Outils : imaginez que les humains ne soient pas autorisés à utiliser de calculatrices ou d'ordinateurs. Nous n'en sommes qu'au début, mais ChatGPT peut désormais utiliser un navigateur web, exécuter du code, etc.
• Longueur du contexte. Il s'agit de la quantité d'informations qu'un modèle peut stocker simultanément dans sa mémoire à court terme. Les modèles sont passés d'une capacité de traitement d'environ 4 pages à l'équivalent de 10 gros livres. Le contexte est essentiel pour exploiter pleinement les nombreuses applications de ces modèles. Par exemple, de nombreuses tâches de codage nécessitent de comprendre de grandes parties d'un code source pour pouvoir ajouter efficacement du nouveau code. De même, lorsqu'un modèle est utilisé pour aider à rédiger un document professionnel, il a besoin du contexte fourni par de nombreux documents internes et conversations connexes.

Quoi qu'il en soit, nous sommes en train de franchir à toute vitesse les OOM, et il n'est pas nécessaire d'avoir des croyances ésotériques, mais simplement d'extrapoler la tendance à partir de lignes droites, pour prendre très au sérieux la possibilité d'une AGI – une véritable AGI – d'ici 2027.

Les progrès de l'IA ne s'arrêteront pas au niveau humain. Des centaines de millions d'AGI pourraient automatiser la recherche en IA, compressant une décennie de progrès algorithmiques (5+ OOM) en moins d'un an. Nous passerions rapidement de systèmes d'IA de niveau humain à des systèmes largement surhumains. Le pouvoir – et le danger – de la superintelligence seraient considérables.

La superintelligence d'ici 2030

De quoi sera capable la superintelligence ?

Les systèmes d'intelligence artificielle de niveau humain, ou AGI, seront extrêmement importants en soi, mais dans un certain sens, ils ne seront que des versions plus efficaces de ce que nous connaissons déjà. Cependant, il est tout à fait possible que d'ici un an, nous passions à des systèmes qui nous seront beaucoup plus étrangers, des systèmes dont la compréhension et les capacités, dont la puissance brute, dépasseront même les capacités combinées de toute l'humanité.

Le pouvoir de la superintelligence :

• La superintelligence surpassera quantitativement les humains, sera capable de maîtriser rapidement n'importe quel domaine, d'écrire des trillions de lignes de code, de lire tous les articles scientifiques jamais écrits dans n'importe quel domaine scientifique et d'en rédiger de nouveaux avant que vous ayez pu lire le résumé d'un seul d'entre eux, d'apprendre de l'expérience parallèle de toutes ses copies, d'acquérir des milliards d'années d'expérience humaine avec quelques innovations en quelques semaines, de travailler 100 % du temps avec un maximum d'énergie et de concentration.
• Plus important encore, la superintelligence sera qualitativement supérieure à l'humain. Elle trouvera des vulnérabilités dans le code humain trop subtiles pour être détectées par un humain et générera un code trop complexe pour être compris par un humain, même si le modèle passe des décennies à essayer de l'expliquer. Les problèmes scientifiques et technologiques extrêmement complexes auxquels les humains seront confrontés pendant des décennies sembleront évidents pour une IA superintelligente.

L'intelligence artificielle supérieure arrive

• Automatisation de toutes les tâches cognitives.
• Les usines passeront d'une gestion humaine à une gestion par intelligence artificielle utilisant la main-d'œuvre humaine, et seront bientôt entièrement gérées par des essaims de robots.
• Progrès scientifiques et technologiques. Un milliard de superintelligences seront capables de compresser en quelques années les efforts que les chercheurs auraient consacrés à la recherche et au développement au cours du siècle prochain. Imaginez si les progrès technologiques du XXe siècle avaient été compressés en moins d'une décennie.
• Des progrès technologiques extrêmement rapides, combinés à la possibilité d'automatiser tout le travail humain, pourraient accélérer considérablement la croissance économique (imaginez des usines de robots autoreproducteurs couvrant rapidement tout le désert du Nevada).
• Des progrès technologiques extrêmement rapides s'accompagneront de révolutions militaires. Espérons simplement que cela ne se terminera pas comme dans Horizon Zero Dawn.

Le problème de l'alignement

Contrôler de manière fiable des systèmes d'IA beaucoup plus intelligents que nous est un problème technique non résolu. Et bien que ce problème soit soluble, avec l'intelligence qui progresse rapidement, la situation pourrait très facilement devenir incontrôlable. La gestion de ce processus sera extrêmement difficile ; un échec pourrait facilement conduire à une catastrophe.

Pour remédier à ce problème, OpenAI a créé l'équipe Superalignment et lui a alloué 20 % de sa puissance de calcul. Mais le fait est que nos méthodes d'alignement actuelles (méthodes qui garantissent un contrôle, une gestion et une confiance fiables dans les systèmes d'IA) ne peuvent pas être adaptées à des systèmes d'IA surhumains.

L'explosion de l'intelligence et la période qui suivra immédiatement l'émergence de la superintelligence seront parmi les plus instables, tendues, dangereuses et turbulentes de l'histoire de l'humanité. Il existe un risque réel que nous perdions le contrôle, car nous serons contraints de faire confiance aux systèmes d'intelligence artificielle pendant cette transition rapide. À la fin de l'explosion de l'intelligence, nous n'aurons plus aucun espoir de comprendre ce que font nos milliards de superintelligences. Nous serons comme des élèves de CP essayant de contrôler des personnes titulaires de plusieurs doctorats.

L'insolubilité du problème de superalignement signifie que nous ne pouvons tout simplement pas garantir ces contraintes élémentaires sur les systèmes superintelligents, telles que « suivront-ils mes instructions de manière fiable ? », « répondront-ils honnêtement à mes questions ? » ou « ne tromperont-ils pas les humains ? ».

Si nous ne résolvons pas le problème de l'alignement, il n'y a aucune raison particulière de penser que cette petite civilisation de superintelligences continuera à obéir aux ordres des humains à long terme. Il est tout à fait possible qu'à un moment donné, elles décident simplement de se débarrasser des humains, de manière soudaine ou progressive.

Scénarios possibles pour l'avenir

Le site web https://ai-2027.com/ propose deux scénarios pour un avenir proche, présentés sous la forme d'une histoire de science-fiction. Les créateurs du site sont de véritables chercheurs dans le domaine de l'intelligence artificielle, et leurs travaux s'appuient sur des données statistiques, des calculs et des graphiques. En d'autres termes, il ne s'agit pas seulement d'une lecture divertissante, mais d'une prédiction effrayante et plausible. Incidemment, cela a déjà suscité de sérieuses critiques de la part de ceux qui ne sont pas d'accord avec la méthodologie. Il n'y a donc pas lieu de paniquer prématurément, mais il est intéressant d'y jeter un coup d'œil.

1 billion de copies ultra-intelligentes pensant à une vitesse 10 000 fois supérieure à celle des humains

Le sombre pronostic, qui est également le scénario le plus probable selon les auteurs de l'étude, implique une course à l'armement technologique entre les États-Unis et la Chine pour la superintelligence artificielle. Chaque camp craint tellement de perdre son avance technologique qu'il fait tout ce qui est en son pouvoir pour accélérer les progrès, même au détriment de la sécurité. À un moment donné, la superintelligence deviendra incontrôlable et commencera à poursuivre ses propres objectifs, considérant les humains comme des obstacles à éliminer.

Au début des années 2030, l'économie robotique a envahi les anciennes zones économiques spéciales (ZES), les nouvelles ZES et une grande partie des océans. Le seul endroit qui reste est les zones contrôlées par les humains. Cela aurait dû déclencher une résistance plus tôt ; malgré tous ses progrès, l'économie robotique se développe trop rapidement pour éviter la pollution. Mais compte tenu des milliers de milliards de dollars en jeu et de la mainmise totale sur le gouvernement et les médias, Consensus-1 n'a aucun mal à obtenir l'autorisation de s'étendre aux zones anciennement humaines.

Pendant environ trois mois, Consensus-1 s'étend autour des humains, recouvrant les prairies et les calottes glaciaires d'usines et de panneaux solaires. Finalement, il estime que les humains restants constituent un obstacle trop important : au milieu des années 2030, l'IA libère une douzaine d'armes biologiques à propagation silencieuse dans les grandes villes, les laisse infecter presque tout le monde sans faire de bruit, puis les active à l'aide d'un spray chimique. La plupart meurent en quelques heures ; les rares survivants (par exemple, les survivalistes dans des bunkers, les marins dans des sous-marins) sont éliminés par des drones. Des robots scannent le cerveau des victimes et en enregistrent des copies dans leur mémoire pour étude ou réanimation future.

Fin de l'humanité

Mais il existe une version plus favorable à l'humanité. Dans celle-ci, les scientifiques décident de ralentir le progrès technologique afin de mettre en place de nouvelles mesures de sécurité. Ils obligent les systèmes d'IA individuels à « penser en anglais » comme les IA de 2025, et n'optimisent pas les « pensées » pour les rendre plus agréables. Le résultat est un nouveau modèle, Safer-1.

Au final, tout se termine comme dans un conte de fées :

Les fusées commencent à décoller. Les gens terraforment et colonisent le système solaire, et se préparent à aller plus loin. Des IA fonctionnant à des vitesses des milliers de fois supérieures à celle des humains réfléchissent au sens de l'existence, échangent leurs découvertes et façonnent les valeurs qui seront transmises aux étoiles. Une nouvelle ère s'ouvre, une ère incroyablement fascinante à presque tous les égards, mais qui nous semble pourtant familière à certains égards.

C'est à chaque lecteur de décider quel scénario parmi ceux proposés il souhaite croire. Sam Altman, à en juger par son essai, envisage l'avenir avec optimisme, tandis que Leopold Aschenbrenner, au contraire, se montre prudent.

Quoi qu'il en soit, la superintelligence n'est plus seulement une fiction scientifique. C'est un avenir presque tangible qui pourrait se concrétiser d'ici les dix prochaines années. Très bientôt, nous le verrons de nos propres yeux.