GPT-3.5, GPT-4: Zjistěte, jaký je mezi nimi rozdíl

ChatGPT je chatbot vyvinutý společností OpenAI. Různé verze GPT (například GPT-3.5 a GPT-4) jsou "mozkem" chatbota, umělou inteligencí, která ChatGPT umožňuje rozpoznávat, chápat a generovat text podobně jako člověk.

GPT-3.5

GPT-3.5 je podtřída třetí iterace Generative Pre-Trained Transformer. Jedná se o rozsáhlý jazykový model založený na architektuře transformátoru, který byl vycvičen na obrovském množství textových dat, aby rozuměl a reagoval v přirozených jazycích (jako je čeština, angličtina, španělština, francouzština atd.). Tomu se říká zpracování přirozeného jazyka. Transformační architektura je pokročilejší než předchozí rekurentní neuronová architektura. Zjednodušeně řečeno pomáhá jazykovému modelu lépe porozumět textu a pochopit jej.

Trasformátory jsou schopny lépe porozumět kontextu, vnímat souvislosti mezi slovy ve větě a odstavci a zdůraznit klíčové myšlenky v textu.

GPT-3.5 má 175 miliard parametrů učení. V té době to bylo nejvíce ze všech velkých jazykových modelů. Tyto parametry jsou jako neuronová spojení, čím více, tím lépe. Nejpřekvapivější je, že v určitém okamžiku, kdy se počet parametrů zvýší, se model stane expertem i v oblastech, na které ho nikdo speciálně netrénoval: například na překládání z jednoho jazyka do druhého, řešení logických a matematických problémů.

Aby byla interakce s GPT-3.5 přirozenější a bezpečnější, byla použita technika zvaná posilovací učení ze zpětné vazby od člověka, při níž jsou lidské vstupy využívány ke zlepšení algoritmů strojového učení.

ChatGPT-4 a jeho odlišnosti od ChatGPT-3.5

GPT-4 má 100 bilionů parametrů!

Nový model je mnohonásobně pokročilejší. Jedním z důležitých rozdílů, který vás okamžitě zaujme, je, že se GPT-4 naučil rozpoznávat obrázky. Zde je popis toho, co umí:

• popsat, co je na obrázku,
• vysvětlit vizuální vtipy,
• vymyslet popisek k fotografii,
• navrhnout recept na základě jídla na obrázku,
• porozumět grafům, tabulkám a ručně psanému textu.

Například na základě ručně nakreslené šablony může GPT-4 napsat kód webové stránky, kterou chcete vytvořit.

GPT-4 si také lépe než jeho předchůdce poradí se zpracováním textových informací: zapamatuje si velké množství textu pro lepší pochopení souvislostí a poskytuje o 40 % přesnější odpovědi. GPT-4 dokáže zpracovat ekvivalent 300 stran textu (128 000 tokenů) v rámci jedné výzvy, zatímco GPT-3.5 dokázal zpracovat pouze 14 stran (16 000 tokenů).

GPT-4 je tak chytrý, že úspěšně složil advokátní zkoušku a umístil se v prvních 10 % (GPT-3.5 skončil za lidmi asi o 17 %). V mnoha testech model překonává i lidi. Konkrétně v testech z matematiky, fyziky a chemie překonal GPT-4 88 % účastníků testu.

*1000 tokenů je přibližně 750 slov

GPT-4 překonává GPT-3.5 v mnoha různých oblastech: od psaní písní a scénářů až po technické psaní a jazykové překlady.

Kritika GPT-4

GPT-4 není v žádném případě dokonalý. Zdá se nám, že neuronové sítě se každým dnem jen zlepšují, ale studie ze Stanfordu z června 2023 ukázala, že výsledky GPT-4 se od března zhoršily.

Testování GPT-4 a GPT-3.5 v březnu a červnu 2023

Model vykazoval výrazné snížení výkonu při řešení matematických úloh a generování kódu:

• například měl potíže určit, zda je číslo 17077 prvočíslo,
• a pouze v 10 % případů byl schopen napsat funkční kód v úlohách, které program LeetCode klasifikoval jako snadné.

Současně GPT-4 vykázal zlepšení v oblasti vizuálního uvažování a odpovídání na citlivé otázky (kde by odpověď mohla způsobit škodu nebo porušit zákon).

Kritici této studie poukázali na možné chyby v metodice a poznamenali, že výslednou dynamiku je třeba považovat spíše za změnu chování než za zhoršení.