GPT-3.5, GPT-4: Spoznajte razliko

ChatGPT je aplikacija klepetalnega robota, ki jo je razvilo podjetje OpenAI. Različne različice GPT (na primer GPT-3.5 in GPT-4) so "možgani" klepetalnega robota, umetna inteligenca, ki ChatGPT omogoča prepoznavanje, razumevanje in ustvarjanje besedila na človeku podoben način.

GPT-3.5

GPT-3.5 je podrazred 3. iteracije Generativnega predhodno usposobljenega transformatorja. Gre za velik jezikovni model, ki temelji na arhitekturi transformatorja in je bil usposobljen na velikih količinah besedilnih podatkov za razumevanje in odzivanje v naravnih jezikih (kot so slovenščina, angleščina, španščina, francoščina itd.). To se imenuje obdelava naravnega jezika. Arhitektura transformatorja je naprednejša od prejšnje rekurentne nevronske arhitekture. Preprosto povedano, jezikovnemu modelu pomaga bolje razumeti in dojeti besedilo.

Trasformatorji lahko bolje razumejo kontekst, zaznavajo povezave med besedami v stavku in odstavku ter poudarjajo ključne ideje v besedilu.

GPT-3.5 ima 175 milijard učnih parametrov. Takrat je bilo to največ od vseh drugih velikih jezikovnih modelov. Ti parametri so kot nevronske povezave, več kot jih je, bolje je. Najbolj presenetljivo je, da na neki točki, ko se število parametrov poveča, model postane strokovnjak tudi na področjih, za katera ga nihče ni posebej usposobil: na primer za prevajanje iz enega jezika v drugega, reševanje logičnih in matematičnih problemov.

Da bi bila interakcija z GPT-3.5 bolj naravna in varna, je bila uporabljena tehnika, imenovana okrepljeno učenje na podlagi povratnih informacij od ljudi, pri kateri se za izboljšanje algoritmov strojnega učenja uporablja človeški vnos.

ChatGPT-4 in kako se razlikuje od ChatGPT-3.5

GPT-4 ima 100 bilijonov parametrov!

Novi model je večkrat naprednejši. Pomembna razlika, ki takoj pade v oči, je, da se je GPT-4 naučil prepoznavati slike. Naštejmo, kaj zna narediti:

• opiše, kaj je na sliki,
• razloži vizualne šale,
• lahko pripravi napis za fotografijo,
• predlaga recept na podlagi hrane na sliki,
• razumeti grafe, tabele in ročno napisano besedilo.

GPT-4 lahko na primer na podlagi ročno narisane predloge napiše kodo za spletno stran, ki jo želite ustvariti.

GPT-4 je boljši od svojega predhodnika tudi pri obdelavi besedilnih informacij: zapomni si velike količine besedila za boljše razumevanje konteksta in daje za 40 % natančnejše odgovore. GPT-4 lahko v enem pozivu obdela 300 strani besedila (128 000 tokenov), GPT-3.5 pa le 14 strani (16 000 tokenov).

GPT-4 je tako pameten, da je uspešno opravil pravosodni izpit in se uvrstil med 10 % najboljših (GPT-3.5 je za ljudmi zaostal za približno 17 %). V številnih testih je model boljši celo od ljudi. Pri matematičnih, fizikalnih in kemijskih testih je bil model GPT-4 boljši od 88 % udeležencev testov.

*1000 tokenov je približno 750 besed

GPT-4 je boljši od GPT-3.5 na številnih različnih področjih: od pisanja pesmi in scenarijev do tehničnega pisanja in jezikovnih prevodov.

Kritika GPT-4

GPT-4 nikakor ni popoln. Zdi se nam, da se nevronska omrežja vsak dan izboljšujejo, vendar je študija iz Stanforda junija 2023 pokazala, da so se rezultati GPT-4 od marca poslabšali.

Testiranje GPT-4 in GPT-3.5 marca in junija 2023

Model je pokazal znatno zmanjšanje zmogljivosti pri reševanju matematičnih problemov in ustvarjanju kode:

• na primer, težko je ugotovil, ali je število 17077 praštevilo,
• in le v 10 % primerov je lahko napisal delujočo kodo pri nalogah, ki jih je program LeetCode razvrstil kot enostavne.

Hkrati je GPT-4 pokazal izboljšave pri vizualnem sklepanju in odgovarjanju na občutljiva vprašanja (pri katerih bi odgovor lahko povzročil škodo ali kršil zakon).

Kritiki te študije so opozorili na morebitne napake v metodologiji in opozorili, da je treba na nastalo dinamiko gledati kot na spremembo vedenja in ne kot na poslabšanje.