GPT-3.5, GPT-4: Opi eroavaisuus

ChatGPT on OpenAI:n kehittämä chatbot-sovellus. GPT:n eri versiot (kuten GPT-3.5 ja GPT-4) ovat chatbotin "aivot" eli tekoäly, jonka avulla ChatGPT tunnistaa, ymmärtää ja tuottaa tekstiä ihmisen kaltaisella tavalla.

GPT-3.5

GPT-3.5 on Generative Pre-Trained Transformerin kolmannen iteraation aliluokka. Se on suuri kielimalli, joka perustuu transformer-arkkitehtuuriin ja joka on koulutettu valtavilla määrillä tekstidataa ymmärtämään ja vastaamaan luonnollisiin kieliin (kuten suomi, englanti, espanja, ranska jne.). Tätä kutsutaan luonnollisen kielen käsittelyksi. Muuntajaarkkitehtuuri on edistyneempi kuin aiempi rekursiivinen neuroarkkitehtuuri. Yksinkertaisesti sanottuna se auttaa kielimallia ymmärtämään ja hahmottamaan tekstiä paremmin.

Muuntajat kykenevät ymmärtämään paremmin asiayhteyden, hahmottamaan lauseen ja kappaleen sanojen välisiä yhteyksiä ja korostamaan tekstin keskeisiä ajatuksia.

GPT-3.5:ssä on 175 miljardia oppimisparametria. Se oli tuolloin suurin minkään muun suuren kielimallin parametrien määrä. Nämä parametrit ovat kuin hermoyhteyksiä, mitä enemmän, sitä parempi. Yllättävintä on se, että kun parametrien määrä kasvaa, mallista tulee jossain vaiheessa asiantuntija myös sellaisilla aloilla, joihin sitä ei ole erityisesti koulutettu: esimerkiksi kääntäminen kielestä toiseen ja loogisten ja matemaattisten ongelmien ratkaiseminen.

Jotta vuorovaikutus GPT-3.5:n kanssa olisi luonnollisempaa ja turvallisempaa, käytettiin tekniikkaa, jota kutsutaan ihmispalautteesta oppimiseksi ja jossa ihmisen antamaa palautetta käytetään koneoppimisalgoritmien parantamiseen.

ChatGPT-4 ja miten se eroaa ChatGPT-3.5:stä?

GPT-4:ssä on 100 biljoonaa parametria!

Uusi malli on monta kertaa kehittyneempi. Yksi tärkeä ero, joka pistää heti silmään, on se, että GPT-4 on oppinut tunnistamaan kuvia. Näin se osaa tehdä:

• kuvata, mitä kuvassa on,
• selittää visuaalisia vitsejä,
• keksiä kuvatekstin valokuvalle,
• ehdottaa reseptiä kuvan ruoan perusteella,
• ymmärtää kaavioita, taulukoita ja käsinkirjoitettua tekstiä.

Esimerkiksi käsin piirretyn mallin perusteella GPT-4 voi kirjoittaa haluamasi verkkosivun koodin.

GPT-4 on edeltäjäänsä parempi myös tekstimuotoisen tiedon käsittelyssä: se muistaa suuria määriä tekstiä, mikä parantaa kontekstin ymmärtämistä, ja antaa 40 prosenttia tarkempia vastauksia. GPT-4 pystyy käsittelemään 300 sivua tekstiä (128 000 tokenia) vastaavan määrän tekstiä yhdessä kysymyksessä, kun taas GPT-3.5 pystyi käsittelemään vain 14 sivua (16 000 tokenia).

GPT-4 on niin älykäs, että se läpäisi asianajajatutkinnon ja sijoittui 10 prosentin kärkijoukkoon (GPT-3.5 jäi ihmisistä noin 17 prosenttia). Monissa testeissä malli päihitti jopa ihmisen. Erityisesti matematiikan, fysiikan ja kemian kokeissa GPT-4 päihitti 88 prosenttia kokelaista.

*1000 tokenia on noin 750 sanaa

GPT-4 päihittää GPT-3.5:n monilla eri aloilla: laulujen ja käsikirjoitusten kirjoittamisesta tekniseen kirjoittamiseen ja kielikäännöksiin.

GPT-4 kritiikki

GPT-4 ei ole missään nimessä täydellinen. Meistä näyttää siltä, että neuroverkot vain paranevat päivä päivältä, mutta Stanfordissa kesäkuussa 2023 tehty tutkimus osoitti, että GPT-4:n tulokset ovat heikentyneet maaliskuusta.

GPT-4:n ja GPT-3.5:n testaus maaliskuussa ja kesäkuussa 2023

Malli osoitti huomattavaa suorituskyvyn heikkenemistä matemaattisten ongelmien ratkaisemisessa ja koodin luomisessa:

• sillä oli esimerkiksi vaikeuksia määrittää, oliko luku 17077 alkuluku,
• ja vain 10 prosenttia ajasta se pystyi kirjoittamaan toimivaa koodia tehtävissä, jotka LeetCode luokitteli helpoiksi.

Samaan aikaan GPT-4 osoitti parannuksia visuaalisessa päättelyssä ja arkaluonteisiin kysymyksiin vastaamisessa (joissa vastaus voi aiheuttaa vahinkoa tai rikkoa lakia).

Tutkimuksen arvostelijat huomauttivat mahdollisista virheistä metodologiassa ja totesivat, että tuloksena olevaa dynamiikkaa olisi pidettävä pikemminkin käyttäytymisen muutoksena kuin heikkenemisenä.