GPT-3.5、GPT-4：その違いを学ぶ

ChatGPTはOpenAIによって開発されたチャットボットアプリケーションです。GPTの異なるバージョン（GPT-3.5やGPT-4など）はチャットボットの「頭脳」であり、ChatGPTが人間のような方法でテキストを認識、理解、生成するための人工知能です。

GPT-3.5

GPT-3.5はGenerative Pre-Trained Transformerの第3版のサブクラスです。これは、自然言語（日本語、英語、スペイン語、フランス語など）を理解し応答するために、膨大な量のテキストデータで訓練された、変換器アーキテクチャに基づく大規模な言語モデルです。これを自然言語処理と呼ぶ。トランスフォーマー・アーキテクチャは、これまでのリカレント・ニューラル・アーキテクチャよりも進化している。簡単に言えば、言語モデルがテキストをよりよく理解し、理解するのを助けるのだ。

トランスフォーマーは文脈をよりよく理解し、文や段落内の単語間のつながりを認識し、テキスト内の重要なアイデアを強調することができる。

GPT-3.5の学習パラメータは1750億。これは当時、他のどの大規模言語モデルよりも多かった。これらのパラメータは神経接続のようなもので、多ければ多いほど良い。最も驚くべきことは、パラメーターの数が増えると、ある時点で、誰も特別に訓練していない分野、例えば、ある言語から別の言語への翻訳、論理的・数学的問題の解決などでも、モデルが専門家になるということだ。

GPT-3.5とのインタラクションをより自然で安全なものにするために、人間のフィードバックからの強化学習と呼ばれる手法が適用された。

ChatGPT-4とChatGPT-3.5との違い

GPT-4には100兆ものパラメーターがある！

GPT-4のパラメーターは100兆個！新型は何倍も進化している。すぐに目に留まる重要な違いのひとつは、GPT-4が画像認識を学習したことだ。GPT-4ができることは以下の通りだ：

• 写真に写っているものを説明する、
• 視覚的なジョークを説明する、
• 写真にキャプションをつける、
• 写真に写っている食べ物からレシピを提案する、
• グラフ、チャート、手書きのテキストを理解する。

例えば、手描きのテンプレートをもとに、作りたいウェブページのコードをGPT-4が書き込んでくれる。

GPT-4はまた、テキスト情報を処理する点でも前モデルより優れており、文脈をより理解するために大量のテキストを記憶し、40%以上正確な回答を返す。GPT-4は1回のプロンプトで300ページ分のテキスト（128,000トークン）を処理できるが、GPT-3.5は14ページ（16,000トークン）しか処理できない。

GPT-4は非常に賢く、司法試験に合格し、上位10％に入った（GPT-3.5は人間に約17％の差をつけられた）。多くのテストにおいて、このモデルは人間をも凌駕している。特に数学、物理、化学のテストでは、GPT-4は受験者の88％を上回った。

*1000トークンは約750ワード

GPT-4は、作詞や作曲からテクニカルライティングや言語翻訳まで、さまざまな分野でGPT-3.5を上回っています。

GPT-4批判

GPT-4は決して完璧ではない。ニューラルネットワークは日々進歩しているように思えるが、2023年6月のスタンフォード大学の研究によれば、GPT-4の成績は3月より悪化している。

2023年3月と6月にGPT-4とGPT-3.5をテスト中

このモデルは、数学の問題を解いたり、コードを生成したりする際に著しい性能低下を示した：

• 例えば、17077が素数かどうかを判断するのは難しかった、
• LeetCodeで簡単と分類されたタスクで動作するコードを書けたのは、わずか10%でした。

同時に、GPT-4は視覚的推論とセンシティブな質問（回答が危害を加えたり法律を犯したりする可能性のあるもの）への回答において改善を示した。

この研究に対する批評家たちは、方法論に誤りがある可能性を指摘し、その結果得られた動態は、悪化というよりむしろ行動の変化と見るべきであると指摘した。