GPT-3.5, GPT-4: Aflați care este diferența

ChatGPT este o aplicație chatbot dezvoltată de OpenAI. Diferite versiuni ale GPT (cum ar fi GPT-3.5 și GPT-4) reprezintă "creierul" chatbot-ului, inteligența artificială care permite ChatGPT să recunoască, să înțeleagă și să genereze text într-un mod asemănător cu cel uman.

GPT-3.5

GPT-3.5 este o subclasă a celei de-a treia iterații a transformatorului generativ preînvățat (Generative Pre-Trained Transformer). Este un model lingvistic de mari dimensiuni bazat pe arhitectura transformatorului care a fost antrenat pe cantități mari de date de text pentru a înțelege și a răspunde în limbi naturale (cum ar fi româna, engleza, spaniola, franceza etc.). Aceasta se numește procesare a limbajului natural. Arhitectura transformer este mai avansată decât arhitectura neuronală recurentă anterioară. Cu alte cuvinte, aceasta ajută modelul lingvistic să înțeleagă și să înțeleagă mai bine textul.

Transformatorii sunt capabili să înțeleagă mai bine contextul, să perceapă conexiunile dintre cuvintele dintr-o propoziție și dintr-un paragraf și să evidențieze ideile cheie dintr-un text.

GPT-3.5 are 175 de miliarde de parametri de învățare. La momentul respectiv, acesta era cel mai mare număr de miliarde de parametri de învățare pentru orice alt model lingvistic de mari dimensiuni. Acești parametri sunt ca niște conexiuni neuronale, cu cât sunt mai mulți cu atât mai bine. Cel mai surprinzător lucru este că, la un moment dat, când numărul de parametri crește, modelul devine expert chiar și în domenii pentru care nimeni nu l-a antrenat în mod special: traducerea dintr-o limbă în alta, rezolvarea problemelor logice și matematice, de exemplu.

Pentru a face ca interacțiunea cu GPT-3.5 să fie mai naturală și mai sigură, a fost aplicată o tehnică numită învățare prin întărire din feedback uman, în cadrul căreia informațiile primite de la oameni sunt utilizate pentru a îmbunătăți algoritmii de învățare automată.

ChatGPT-4 și cum este diferit de ChatGPT-3.5

GPT-4 are 100 de trilioane de parametri!

Noul model este de multe ori mai avansat. O diferență importantă care îți atrage imediat atenția este faptul că GPT-4 a învățat să recunoască imagini. Iată ce poate face:

• descrie ce se află în imagine,
• să explice glumele vizuale,
• să găsească o legendă pentru o fotografie,
• să sugereze o rețetă bazată pe alimentele din imagine,
• să înțeleagă grafice, diagrame și texte scrise de mână.

De exemplu, pe baza unui șablon desenat de mână, GPT-4 poate scrie codul pentru pagina web pe care doriți să o creați.

De asemenea, GPT-4 se descurcă mai bine decât predecesorul său la procesarea informațiilor textuale: memorează cantități mari de text pentru o mai bună înțelegere contextuală și oferă răspunsuri cu 40% mai precise. GPT-4 poate procesa echivalentul a 300 de pagini de text (128 000 de token-uri) într-un singur prompt, în timp ce GPT-3.5 putea procesa doar 14 pagini (16 000 de token-uri).

GPT-4 este atât de inteligent încât a trecut examenul de barou, clasându-se în primii 10% (GPT-3.5 a ajuns să fie în urma oamenilor cu aproximativ 17%). În multe teste, modelul a depășit chiar și oamenii. Mai exact, la testele de matematică, fizică și chimie, GPT-4 a depășit 88% dintre participanții la teste.

*1000 de token-uri reprezintă aproximativ 750 de cuvinte

GPT-4 surclasează GPT-3.5 în multe domenii diferite: de la compunerea de cântece și scenarii până la scriere tehnică și traduceri lingvistice.

Critica GPT-4

GPT-4 nu este în niciun caz perfect. Ni se pare că rețelele neuronale nu fac decât să se îmbunătățească pe zi ce trece, dar un studiu realizat la Stanford în iunie 2023 a arătat că rezultatele GPT-4 s-au deteriorat din martie.

Testarea GPT-4 și GPT-3.5 în martie și iunie 2023

Modelul a arătat o degradare semnificativă a performanței în rezolvarea problemelor matematice și în generarea de coduri:

• de exemplu, a avut dificultăți în a determina dacă numărul 17077 este prim,
• și doar 10% din timp a reușit să scrie cod funcțional în sarcinile clasificate ca fiind ușoare de LeetCode.

În același timp, GPT-4 a arătat îmbunătățiri în ceea ce privește raționamentul vizual și răspunsul la întrebări sensibile (în care răspunsul ar putea provoca daune sau încălca legea).

Criticii acestui studiu au subliniat posibilele erori de metodologie și au remarcat că dinamica rezultată ar trebui privită ca o schimbare de comportament și nu ca o deteriorare.