GPT-3.5, GPT-4: Naučite razliku

ChatGPT je chatbot aplikacija koju je razvio OpenAI. Različite verzije GPT-a (kao što su GPT-3.5 i GPT-4) su "mozgovi" chatbota, umjetna inteligencija koja ChatGPT-u omogućuje prepoznavanje, razumijevanje i generiranje teksta na ljudski način.

GPT-3.5

GPT-3.5 je potklasa 3. iteracije Generativnog prethodno obučenog transformatora. To je veliki jezični model temeljen na transformatorskoj arhitekturi koji je obučen na golemim količinama tekstualnih podataka za razumijevanje i odgovaranje na prirodnim jezicima (kao što su hrvatski, engleski, španjolski, francuski itd.). To se zove obrada prirodnog jezika. Arhitektura transformatora je naprednija od prethodne rekurentne neuronske arhitekture. Jednostavnim riječima, pomaže jezičnom modelu da bolje razumije i shvati tekst.

Transformatori mogu bolje razumjeti kontekst, uočiti veze između riječi u rečenici i odlomku i naglasiti ključne ideje unutar teksta.

GPT-3.5 ima 175 milijardi parametara učenja. U to vrijeme to je bilo najviše od bilo kojeg drugog velikog jezičnog modela. Ovi parametri su poput neuronskih veza, što više to bolje. Ono što najviše iznenađuje je da u nekom trenutku, kada se broj parametara poveća, model postaje ekspert čak iu područjima za koja ga nitko nije posebno obučavao: prevođenje s jednog jezika na drugi, rješavanje logičkih i matematičkih problema, na primjer.

Kako bi interakcija s GPT-3.5 bila prirodnija i sigurnija, primijenjena je tehnika koja se zove pojačano učenje iz ljudskih povratnih informacija, gdje se ljudski unos koristi za poboljšanje algoritama strojnog učenja.

ChatGPT-4 i kako se razlikuje od ChatGPT-3.5

GPT-4 ima 100 bilijuna parametara!

Novi model višestruko je napredniji. Jedna važna razlika koja vam odmah upada u oči je da je GPT-4 naučio prepoznavati slike. Evo što može učiniti:

• opiši što je na slici,
• objasni vizualne šale,
• osmislite naslov za fotografiju,
• predložiti recept na temelju jela sa slike,
• razumjeti grafikone, dijagrame i rukom pisani tekst.

Na primjer, na temelju ručno nacrtanog predloška, GPT-4 može napisati kod za web stranicu koju želite stvoriti.

GPT-4 također radi bolje od svog prethodnika u obradi tekstualnih informacija: pamti velike količine teksta radi boljeg kontekstualnog razumijevanja i daje 40% točnije odgovore. GPT-4 može obraditi ekvivalent od 300 stranica teksta (128 000 tokena) u jednom upitu, dok GPT-3.5 može obraditi samo 14 stranica (16 000 tokena).

GPT-4 je toliko pametan da je položio pravosudni ispit, svrstavši se među 10% najboljih (GPT-3.5 je na kraju zaostao za ljudima za oko 17%). U mnogim testovima model je bolji čak i od ljudi. Točnije, u testovima iz matematike, fizike i kemije, GPT-4 je nadmašio 88% ispitanika.

*1000 tokena je oko 750 riječi

GPT-4 nadmašuje GPT-3.5 u mnogim različitim područjima: od pisanja pjesama i scenarija do tehničkog pisanja i prijevoda jezika.

GPT-4 kritika

GPT-4 ni u kom slučaju nije savršen. Čini nam se da su neuronske mreže svakim danom sve bolje, no studija sa Stanforda u lipnju 2023. pokazala je da su se rezultati GPT-4 pogoršali od ožujka.

Testiranje GPT-4 i GPT-3.5 u ožujku i lipnju 2023

Model je pokazao značajnu degradaciju performansi u rješavanju matematičkih problema i generiranju koda:

• na primjer, bilo je teško odrediti je li broj 17077 prost,
• i samo 10% vremena bio je u mogućnosti napisati radni kod u zadacima koje je LeetCode klasificirao kao lake.

U isto vrijeme, GPT-4 je pokazao poboljšanja u vizualnom zaključivanju i odgovaranju na osjetljiva pitanja (gdje bi odgovor mogao uzrokovati štetu ili prekršiti zakon).

Kritičari ove studije ukazali su na moguće pogreške u metodologiji i napomenuli da se rezultirajuća dinamika treba promatrati kao promjena ponašanja, a ne kao pogoršanje.