GPT-3.5, GPT-4: Ismerje meg a különbséget

A ChatGPT az OpenAI által kifejlesztett chatbot alkalmazás. A GPT különböző változatai (például a GPT-3.5 és a GPT-4) a chatbot "agyát", a mesterséges intelligenciát jelentik, amely lehetővé teszi, hogy a ChatGPT emberi módon felismerje, megértse és generálja a szöveget.

GPT-3.5

A GPT-3.5 a Generative Pre-Trained Transformer 3. iterációjának alosztálya. Ez egy nagyméretű, transzformátor architektúrán alapuló nyelvi modell, amelyet hatalmas mennyiségű szöveges adaton képeztek ki a természetes nyelvek (pl. magyar, angol, spanyol, francia stb.) megértésére és megválaszolására. Ezt nevezik természetes nyelvi feldolgozásnak. A transzformátor architektúra fejlettebb, mint a korábbi rekurrens neurális architektúra. Egyszerűen fogalmazva, segít a nyelvi modellnek jobban megérteni és felfogni a szöveget.

A transzformátorok képesek jobban megérteni a kontextust, érzékelni a szavak közötti kapcsolatokat egy mondatban és bekezdésben, és kiemelni a szövegben lévő kulcsgondolatokat.

A GPT-3.5 175 milliárd tanulási paramétert tartalmaz. Abban az időben ez volt a legtöbb bármely más nagy nyelvi modellnél. Ezek a paraméterek olyanok, mint az idegi kapcsolatok, minél több, annál jobb. A legmeglepőbb az, hogy egy bizonyos ponton, amikor a paraméterek száma nő, a modell olyan területeken is szakértővé válik, amelyekre senki sem képezte ki külön: például az egyik nyelvről a másikra való fordításban, logikai és matematikai problémák megoldásában.

A GPT-3.5-tel való interakció természetesebbé és biztonságosabbá tétele érdekében az emberi visszajelzésekből történő megerősítő tanulás technikáját alkalmazták, amely során az emberi inputot a gépi tanuló algoritmusok javítására használják fel.

ChatGPT-4 és miben különbözik a ChatGPT-3.5-től

A GPT-4 100 trillió paraméterrel rendelkezik!

Az új modell sokszorosan fejlettebb. Az egyik fontos különbség, ami azonnal szemet szúr, hogy a GPT-4 megtanult képeket felismerni. A következőkre képes:

• leírja, hogy mi van a képen,
• megmagyarázza a vizuális vicceket,
• képaláírást talál ki egy fényképhez,
• receptet javasol a képen látható étel alapján,
• grafikonok, diagramok és kézzel írt szövegek megértése.

Például egy kézzel rajzolt sablon alapján a GPT-4 képes megírni a létrehozni kívánt weboldal kódját.

A GPT-4 a szöveges információk feldolgozásában is jobban teljesít elődjénél: a jobb kontextuális megértés érdekében nagy mennyiségű szöveget jegyez meg, és 40%-kal pontosabb válaszokat ad. A GPT-4 300 oldalnyi szövegnek (128 000 token) megfelelő mennyiségű szöveget képes feldolgozni egyetlen kérdezés során, míg a GPT-3.5 csak 14 oldalt (16 000 token) tudott feldolgozni.

A GPT-4 olyannyira okos, hogy az ügyvédi vizsgán is megfelelt, és az első 10%-ban végzett (a GPT-3.5 végül 17%-kal maradt le az emberek mögött). Számos tesztben a modell még az embereket is felülmúlta. Konkrétan a matematika, fizika és kémia tesztekben a GPT-4 a vizsgázók 88%-át múlta felül.

*1000 token körülbelül 750 szó

A GPT-4 számos területen felülmúlja a GPT-3.5-öt: a dalszerzéstől és a forgatókönyvírástól kezdve a műszaki íráson át a nyelvi fordításokig.

GPT-4 kritika

A GPT-4 semmiképpen sem tökéletes. Számunkra úgy tűnik, hogy a neurális hálózatok csak napról napra jobbak, de egy 2023 júniusában Stanfordban készült tanulmány szerint a GPT-4 eredményei március óta romlottak.

A GPT-4 és a GPT-3.5 tesztelése 2023 márciusában és júniusában

A modell jelentős teljesítménycsökkenést mutatott a matematikai feladatok megoldása és a kódgenerálás terén:

• például nehezen tudta megállapítani, hogy a 17077-es szám prím-e,
• és csak az esetek 10%-ában tudott működő kódot írni a LeetCode által könnyűnek minősített feladatokban.

Ugyanakkor a GPT-4 javulást mutatott a vizuális gondolkodásban és az érzékeny kérdések megválaszolásában (ahol a válasz kárt okozhat vagy törvényt sérthet).

A vizsgálat kritikusai rámutattak a módszertan lehetséges hibáira, és megjegyezték, hogy a kapott dinamikát inkább viselkedésváltozásnak, mint romlásnak kell tekinteni.