GPT-3.5, GPT-4: Sužinokite skirtumus

"ChatGPT" yra "OpenAI" sukurta pokalbių roboto programa. Skirtingos GPT versijos (pvz., GPT-3.5 ir GPT-4) yra pokalbių roboto "smegenys", dirbtinis intelektas, kuris leidžia ChatGPT atpažinti, suprasti ir kurti tekstą panašiai kaip žmogus.

GPT-3.5

GPT-3.5 yra trečiosios kartos generatyvinio iš anksto apmokyto transformatoriaus poklasis. Tai transformatoriaus architektūra pagrįstas didelės apimties kalbos modelis, kuris buvo apmokytas apdoroti didelius tekstinių duomenų kiekius, kad suprastų natūralias kalbas (pvz., lietuvių, anglų, ispanų, prancūzų ir kt.) ir į jas reaguotų. Tai vadinama natūralios kalbos apdorojimu. Transformatoriaus architektūra yra pažangesnė už ankstesnę rekurentinių neuronų architektūrą. Paprasčiau tariant, ji padeda kalbos modeliui geriau suprasti ir suvokti tekstą.

Trasformeriai geba geriau suprasti kontekstą, suvokti sakinio ir pastraipos žodžių ryšius ir pabrėžti pagrindines teksto mintis.

GPT-3.5 turi 175 mlrd. mokymosi parametrų. Tuo metu tai buvo daugiausiai iš visų kitų didelių kalbos modelių. Šie parametrai yra tarsi neuronų jungtys - kuo daugiau, tuo geriau. Labiausiai stebina tai, kad tam tikru momentu, kai parametrų skaičius padidėja, modelis tampa ekspertu net tose srityse, kurioms jo niekas specialiai netreniruoja: pavyzdžiui, vertimo iš vienos kalbos į kitą, loginių ir matematinių uždavinių sprendimo.

Kad sąveika su GPT-3.5 būtų natūralesnė ir saugesnė, buvo pritaikytas metodas, vadinamas mokymusi iš žmogaus grįžtamojo ryšio, kai žmogaus indėlis naudojamas mašininio mokymosi algoritmams tobulinti.

ChatGPT-4 ir kuo ji skiriasi nuo ChatGPT-3.5

GPT-4 turi 100 trilijonų parametrų!

Naujasis modelis yra daug kartų pažangesnis. Vienas svarbus skirtumas, kuris iš karto krinta į akis, yra tas, kad GPT-4 išmoko atpažinti vaizdus. Štai ką jis gali padaryti:

• apibūdinti, kas yra paveikslėlyje,
• paaiškinti vaizdinius pokštus,
• sugalvoti nuotraukos antraštę,
• pasiūlyti receptą pagal paveikslėlyje pavaizduotą maistą,
• suprasti grafikus, diagramas ir ranka rašytą tekstą.

Pavyzdžiui, pagal ranka nupieštą šabloną "GPT-4" gali parašyti norimo sukurti tinklalapio kodą.

Be to, GPT-4 geriau nei jo pirmtakas apdoroja tekstinę informaciją: jis įsimena didelį teksto kiekį, kad geriau suprastų kontekstą, ir pateikia 40 % tikslesnius atsakymus. GPT-4 gali apdoroti 300 puslapių teksto (128 000 tokenų) atitikmenį vienu raginimu, o GPT-3.5 - tik 14 puslapių (16 000 tokenų).

GPT-4 yra toks protingas, kad išlaikė advokatūros egzaminą ir pateko į 10 % geriausiųjų (GPT-3.5 atsiliko nuo žmonių maždaug 17 %). Daugelyje testų modelis lenkia net žmones. Konkrečiai matematikos, fizikos ir chemijos testuose "GPT-4" pranoko 88 % testą laikiusiųjų.

*1000 tokenų - tai maždaug 750 žodžių

GPT-4 pranoksta GPT-3.5 daugelyje skirtingų sričių: nuo dainų ir scenarijų rašymo iki techninio rašymo ir kalbų vertimo.

GPT-4 kritika

GPT-4 jokiu būdu nėra tobulas. Mums atrodo, kad neuroniniai tinklai kasdien tik tobulėja, tačiau 2023 m. birželį Stanforde atliktas tyrimas parodė, kad nuo kovo mėnesio GPT-4 rezultatai pablogėjo.

GPT-4 ir GPT-3.5 bandymai 2023 m. kovo ir birželio mėn.

Modelio našumas labai sumažėjo sprendžiant matematinius uždavinius ir generuojant kodą:

• pavyzdžiui, jam sunkiai sekėsi nustatyti, ar skaičius 17077 yra pirminis,
• ir tik 10 proc. atvejų jis galėjo parašyti veikiantį kodą uždaviniuose, kuriuos LeetCode klasifikavo kaip lengvus.

Tuo pat metu GPT-4 pagerėjo vizualinio mąstymo ir atsakymų į jautrius klausimus (kai atsakymas gali sukelti žalą arba pažeisti įstatymą) rezultatai.

Šio tyrimo kritikai atkreipė dėmesį į galimas metodikos klaidas ir pažymėjo, kad gautą dinamiką reikėtų vertinti kaip elgesio pokytį, o ne pablogėjimą.