GPT-3.5, GPT-4 : Apprendre la différence

ChatGPT est une application de chatbot développée par OpenAI. Les différentes versions de GPT (telles que GPT-3.5 et GPT-4) sont les "cerveaux" du chatbot, l'intelligence artificielle qui permet à ChatGPT de reconnaître, de comprendre et de générer du texte à la manière d'un humain.

GPT-3.5

GPT-3.5 est une sous-classe de la troisième itération de Generative Pre-Trained Transformer. Il s'agit d'un grand modèle linguistique basé sur une architecture de transformateur qui a été entraîné sur de grandes quantités de données textuelles pour comprendre et répondre dans des langues naturelles (telles que le français, l'anglais, l'espagnol, etc.). C'est ce qu'on appelle le traitement du langage naturel. L'architecture du transformateur est plus avancée que l'architecture neuronale récurrente précédente. En d'autres termes, elle aide le modèle linguistique à mieux comprendre et appréhender le texte.

Les transformateurs sont capables de mieux comprendre le contexte, de percevoir les liens entre les mots d'une phrase ou d'un paragraphe et de mettre en évidence les idées clés d'un texte.

GPT-3.5 compte 175 milliards de paramètres d'apprentissage. À l'époque, c'était le plus grand nombre de tous les modèles linguistiques de grande taille. Ces paramètres sont comme des connexions neuronales : plus il y en a, mieux c'est. Le plus surprenant est qu'à un moment donné, lorsque le nombre de paramètres augmente, le modèle devient expert même dans des domaines pour lesquels personne ne l'a spécialement formé : la traduction d'une langue à une autre, la résolution de problèmes logiques et mathématiques, par exemple.

Pour rendre l'interaction avec le GPT-3.5 plus naturelle et plus sûre, une technique appelée apprentissage par renforcement à partir du retour d'information humain a été appliquée, où l'apport humain est utilisé pour améliorer les algorithmes d'apprentissage automatique.

ChatGPT-4 et ses différences avec ChatGPT-3.5

Le GPT-4 a 100 billions de paramètres !

Le nouveau modèle est beaucoup plus avancé. Une différence importante qui attire immédiatement l'attention est que le GPT-4 a appris à reconnaître les images. Voici ce qu'il peut faire

• décrire ce qu'il y a dans l'image,
• expliquer des blagues visuelles,
• trouver une légende pour une photo,
• suggérer une recette basée sur les aliments de l'image,
• comprendre des graphiques, des tableaux et des textes manuscrits.

Par exemple, sur la base d'un modèle dessiné à la main, GPT-4 peut écrire le code de la page web que vous souhaitez créer.

Le GPT-4 est également plus performant que son prédécesseur en ce qui concerne le traitement des informations textuelles : il mémorise de grandes quantités de texte pour une meilleure compréhension du contexte et donne des réponses 40 % plus précises. Le GPT-4 peut traiter l'équivalent de 300 pages de texte (128 000 tokens) en une seule invite, alors que le GPT-3.5 ne pouvait traiter que 14 pages (16 000 tokens).

GPT-4 est si intelligent qu'il a réussi l'examen du barreau, se classant parmi les 10 % les plus performants (GPT-3.5 a fini par distancer les humains d'environ 17 %). Dans de nombreux tests, le modèle surpasse même les humains. En particulier, dans les tests de mathématiques, de physique et de chimie, GPT-4 a surpassé 88 % des candidats.

*1000 tokens correspondent à environ 750 mots

Le GPT-4 surpasse le GPT-3.5 dans de nombreux domaines : de l'écriture de chansons et de scénarios à la rédaction technique et aux traductions linguistiques.

Critique du GPT-4

Le GPT-4 n'est pas parfait, loin s'en faut. Il nous semble que les réseaux neuronaux s'améliorent de jour en jour, mais une étude de Stanford de juin 2023 a montré que les résultats du GPT-4 se sont détériorés depuis le mois de mars.

Test du GPT-4 et du GPT-3.5 en mars et juin 2023

Le modèle a montré une dégradation significative des performances dans la résolution des problèmes mathématiques et la génération de code :

• par exemple, il a eu du mal à déterminer si le nombre 17077 était premier,
• et il n'a pu écrire un code fonctionnel que dans 10 % des cas pour les tâches classées comme faciles par LeetCode.

Dans le même temps, le GPT-4 a montré des améliorations dans le raisonnement visuel et la réponse à des questions sensibles (où la réponse pourrait causer du tort ou enfreindre la loi).

Les détracteurs de cette étude ont mis en évidence d'éventuelles erreurs méthodologiques et ont noté que la dynamique qui en résulte devrait être considérée comme un changement de comportement plutôt que comme une détérioration.