GPT-3.5, GPT-4: Zistite rozdiel

ChatGPT je aplikácia chatbota vyvinutá spoločnosťou OpenAI. Rôzne verzie GPT (napríklad GPT-3.5 a GPT-4) sú "mozgom" chatbota, umelou inteligenciou, ktorá ChatGPT umožňuje rozpoznávať, chápať a generovať text podobným spôsobom ako človek.

GPT-3.5

GPT-3.5 je podtrieda tretej iterácie Generative Pre-Trained Transformer. Je to veľký jazykový model založený na architektúre transformátora, ktorý bol vycvičený na obrovskom množstve textových údajov, aby rozumel a reagoval v prirodzených jazykoch (ako je slovenčina, angličtina, španielčina, francúzština atď.). Tomu sa hovorí spracovanie prirodzeného jazyka. Transformátorová architektúra je pokročilejšia ako predchádzajúca rekurentná neurónová architektúra. Zjednodušene povedané, pomáha jazykovému modelu lepšie pochopiť a porozumieť textu.

Trasformátory dokážu lepšie pochopiť kontext, vnímať súvislosti medzi slovami vo vete a odseku a zdôrazniť kľúčové myšlienky v texte.

GPT-3.5 má 175 miliárd učebných parametrov. V tom čase to bolo najviac zo všetkých veľkých jazykových modelov. Tieto parametre sú ako neurónové spojenia, čím viac, tým lepšie. Najprekvapujúcejšie je, že v určitom momente, keď sa počet parametrov zvýši, sa model stane expertom aj v oblastiach, na ktoré ho nikto špeciálne netrénoval: napríklad na preklad z jedného jazyka do druhého, riešenie logických a matematických problémov.

Aby bola interakcia s GPT-3.5 prirodzenejšia a bezpečnejšia, použila sa technika nazývaná posilnené učenie zo spätnej väzby od ľudí, pri ktorej sa vstupy od ľudí využívajú na zlepšenie algoritmov strojového učenia.

ChatGPT-4 a jeho odlišnosti od ChatGPT-3.5

GPT-4 má 100 biliónov parametrov!

Nový model je mnohonásobne pokročilejší. Jedným z dôležitých rozdielov, ktorý vás okamžite zaujme, je, že GPT-4 sa naučil rozpoznávať obrázky. Toto je to, čo dokáže:

• opísať, čo je na obrázku,
• vysvetliť vizuálne vtipy,
• vymyslieť titulok k fotografii,
• navrhnúť recept na základe jedla na obrázku,
• porozumieť grafom, tabuľkám a ručne písanému textu.

Napríklad na základe ručne nakreslenej šablóny môže GPT-4 napísať kód webovej stránky, ktorú chcete vytvoriť.

GPT-4 si tiež lepšie ako jeho predchodca poradí so spracovaním textových informácií: zapamätá si veľké množstvo textu na lepšie pochopenie súvislostí a poskytuje o 40 % presnejšie odpovede. GPT-4 dokáže spracovať ekvivalent 300 strán textu (128 000 tokenov) v rámci jednej výzvy, zatiaľ čo GPT-3.5 dokázal spracovať len 14 strán (16 000 tokenov).

GPT-4 je taký inteligentný, že úspešne absolvoval advokátsku skúšku a umiestnil sa v prvých 10 % (GPT-3.5 skončil za ľuďmi približne o 17 %). V mnohých testoch model prekonáva dokonca aj ľudí. Konkrétne v testoch z matematiky, fyziky a chémie model GPT-4 prekonal 88 % účastníkov testov.

*1000 tokenov je približne 750 slov

GPT-4 prekonáva GPT-3.5 v mnohých rôznych oblastiach: od písania piesní a scenárov až po technické písanie a jazykové preklady.

Kritika GPT-4

GPT-4 nie je v žiadnom prípade dokonalý. Zdá sa nám, že neurónové siete sa každým dňom len zlepšujú, ale štúdia zo Stanfordu z júna 2023 ukázala, že výsledky GPT-4 sa od marca zhoršili.

Testovanie GPT-4 a GPT-3.5 v marci a júni 2023

Model vykazoval výrazné zníženie výkonu pri riešení matematických úloh a generovaní kódu:

• napríklad mal problém určiť, či je číslo 17077 prvočíslo,
• a len v 10 % prípadov dokázal napísať funkčný kód v úlohách, ktoré program LeetCode klasifikoval ako ľahké.

GPT-4 zároveň vykázal zlepšenie vo vizuálnom uvažovaní a v odpovediach na citlivé otázky (kde by odpoveď mohla spôsobiť škodu alebo porušiť zákon).

Kritici tejto štúdie poukázali na možné chyby v metodike a poznamenali, že výsledná dynamika by sa mala považovať skôr za zmenu správania ako za zhoršenie.