GPT-3.5, GPT-4: Õppige tundma erinevust

ChatGPT on OpenAI poolt välja töötatud juturobot. GPT erinevad versioonid (näiteks GPT-3.5 ja GPT-4) on chatroboti "ajud", tehisintellekt, mis võimaldab ChatGPT-l teksti inimlikul viisil ära tunda, mõista ja genereerida.

GPT-3.5

GPT-3.5 on Generative Pre-Trained Transformer'i 3. iteratsiooni alamklass. See on suur keelemudel, mis põhineb transformeri arhitektuuril, mida on treenitud tohutul hulgal tekstidokumentidel, et mõista ja reageerida loomulikes keeltes (näiteks eesti, inglise, hispaania, prantsuse jne). Seda nimetatakse loomulikuks keeletöötluseks. Transformeri arhitektuur on arenenum kui varasem rekursiivneuraalne arhitektuur. Lihtsamalt öeldes aitab see keelemudelil teksti paremini mõista ja adapteerida.

Transformaatorid suudavad paremini mõista konteksti, tajuda sõnade vahelisi seoseid lauses ja lõigus ning rõhutada võtmeideid tekstis.

GPT-3.5-l on 175 miljardit õpiparameetrit. Sel ajal oli see kõige rohkem ühegi teise suure keelemudeli puhul. Need parameetrid on nagu närviühendused, mida rohkem, seda parem. Kõige üllatavam on see, et mingil hetkel, kui parameetrite arv suureneb, muutub mudel eksperdiks isegi valdkondades, milleks teda keegi pole spetsiaalselt treeninud: näiteks tõlkimine ühest keelest teise, loogiliste ja matemaatiliste probleemide lahendamine.

Selleks, et muuta suhtlemine GPT-3.5-ga loomulikumaks ja turvalisemaks, kasutati tehnikat, mida nimetatakse inimese tagasisidest tulenevaks tugevdavaks õppeks, mille puhul kasutatakse inimese sisendit masinõppe algoritmide täiustamiseks.

ChatGPT-4 ja selle erinevus ChatGPT-3.5-st

GPT-4-l on 100 triljonit parameetrit!

Uus mudel on mitu korda arenenum. Üks oluline erinevus, mis kohe silma torkab, on see, et GPT-4 on õppinud pilte ära tundma. Siin on see, mida ta suudab:

• kirjeldada, mis on pildil,
• selgitada visuaalseid naljandeid,
• välja mõelda pildi pildiallkirja,
• soovitada pildil oleva toidu põhjal retsepti,
• mõista graafikuid, graafikuid ja käsitsi kirjutatud teksti.

Näiteks saab GPT-4 käsitsi joonistatud malli põhjal kirjutada soovitud veebilehe koodi.

GPT-4 on oma eelkäijast parem ka tekstilise teabe töötlemisel: ta jätab meelde suure hulga teksti, et paremini mõista konteksti, ja annab 40% täpsemaid vastuseid. GPT-4 suudab ühe küsimusega töödelda 300 lehekülge teksti (128 000 tokenit), samas kui GPT-3.5 suutis töödelda ainult 14 lehekülge (16 000 tokenit).

GPT-4 on nii nutikas, et sooritas eksami, jõudes 10% parima tulemuse hulka (GPT-3.5 jäi inimestest maha umbes 17% võrra). Paljudes testides edestab see mudel isegi inimesi. Konkreetselt matemaatika, füüsika ja keemia testides edestas GPT-4 88% testi sooritajatest.

*1000 tokenit on umbes 750 sõna

GPT-4 ületab GPT-3.5 paljudes erinevates valdkondades: alates laulude kirjutamisest ja stsenaariumide kirjutamisest kuni tehnilise kirjutamise ja keeletõlgeteni.

GPT-4 kriitika

GPT-4 ei ole mingil juhul täiuslik. Meile tundub, et neurovõrgud muutuvad iga päevaga ainult paremaks, kuid 2023. aasta juunis Stanfordis tehtud uuring näitas, et GPT-4 tulemused on alates märtsist halvenenud.

GPT-4 ja GPT-3.5 testimine märtsis ja juunis 2023

Mudel näitas märkimisväärset jõudluse langust matemaatiliste ülesannete lahendamisel ja koodi genereerimisel:

• näiteks oli tal raskusi selle kindlakstegemisega, kas arv 17077 on algarv,
• ja ainult 10% ajast suutis ta kirjutada töötavat koodi ülesannetes, mida LeetCode liigitas lihtsaks.

Samal ajal näitas GPT-4 paranemist visuaalses mõtlemises ja tundlikele küsimustele (kus vastus võib tekitada kahju või rikkuda seadust) vastamisel.

Selle uuringu kriitikud juhtisid tähelepanu võimalikele vigadele metoodikas ja märkisid, et saadud dünaamikat tuleks vaadelda pigem käitumise muutumisena kui halvenemisena.