GPT-3.5, GPT-4: Finn ut hva forskjellen er

ChatGPT er en chatbot-applikasjon utviklet av OpenAI. Ulike versjoner av GPT (for eksempel GPT-3.5 og GPT-4) er chatbotens "hjerne", den kunstige intelligensen som gjør det mulig for ChatGPT å gjenkjenne, forstå og generere tekst på en menneskelignende måte.

GPT-3.5

GPT-3.5 er en underklasse av den tredje iterasjonen av Generative Pre-Trained Transformer. Det er en stor språkmodell basert på transformatorarkitektur som er trent på store mengder tekstdata for å forstå og svare på naturlige språk (som norsk, engelsk, spansk, fransk osv.). Det kalles naturlig språkbehandling. Transformatorarkitekturen er mer avansert enn tidligere tilbakevendende nevralarkitekturer. Enkelt sagt hjelper den språkmodellen med å forstå og oppfatte teksten bedre.

Trasformere er i stand til å forstå sammenhengen bedre, oppfatte sammenhengen mellom ord i en setning eller et avsnitt og fremheve de viktigste ideene i en tekst.

GPT-3.5 har 175 milliarder læringsparametere. På det tidspunktet var dette det høyeste antallet i noen annen stor språkmodell. Disse parametrene er som nerveforbindelser, jo flere, jo bedre. Det mest overraskende er at når antallet parametere øker, blir modellen på et tidspunkt ekspert også på områder som ingen har trent den spesielt til: for eksempel å oversette fra et språk til et annet og å løse logiske og matematiske problemer.

For å gjøre interaksjonen med GPT-3.5 mer naturlig og tryggere ble det tatt i bruk en teknikk som kalles forsterkningslæring fra menneskelige tilbakemeldinger, der menneskelig input brukes til å forbedre maskinlæringsalgoritmer.

ChatGPT-4 og hvordan den skiller seg fra ChatGPT-3.5

GPT-4 har 100 billioner parametere!

Den nye modellen er mange ganger mer avansert. En viktig forskjell som du umiddelbart legger merke til, er at GPT-4 har lært seg å gjenkjenne bilder. Her er hva den kan gjøre:

• beskrive hva som er på bildet,
• forklare visuelle vitser,
• finne på en bildetekst til et bilde,
• foreslå en oppskrift basert på maten på bildet,
• forstå grafer, diagrammer og håndskrevet tekst.

Basert på en håndtegnet mal kan GPT-4 for eksempel skrive koden til nettsiden du ønsker å opprette.

GPT-4 er også bedre enn forgjengeren til å behandle tekstinformasjon: Den husker store mengder tekst for bedre kontekstuell forståelse og gir 40 % mer nøyaktige svar. GPT-4 kan behandle en tekstmengde som tilsvarer 300 sider med tekst (128 000 tokens) i én enkelt oppgave, mens GPT-3.5 bare kunne behandle 14 sider (16 000 tokens).

GPT-4 er så smart at den besto advokateksamen og plasserte seg blant de 10 % beste (GPT-3.5 endte opp med å ligge ca. 17 % bak mennesker). I mange tester overgår modellen til og med mennesker. I matematikk-, fysikk- og kjemitester presterte GPT-4 bedre enn 88 % av testdeltakerne.

*1000 tokens tilsvarer ca. 750 ord

GPT-4 utkonkurrerer GPT-3.5 på mange forskjellige områder: fra låtskriving og manusskriving til teknisk skriving og språkoversettelser.

Kritikk av GPT-4

GPT-4 er på ingen måte perfekt. For oss ser det ut til at nevrale nettverk bare blir bedre for hver dag som går, men en studie fra Stanford i juni 2023 viste at GPT-4-resultatene har blitt dårligere siden mars.

Testing av GPT-4 og GPT-3.5 i mars og juni 2023

Modellen viste en betydelig ytelsesforringelse når det gjaldt å løse matematiske problemer og kodegenerering:

• den hadde for eksempel problemer med å avgjøre om tallet 17077 var primtall,
• og bare 10 % av tiden klarte den å skrive fungerende kode i oppgaver som ble klassifisert som enkle av LeetCode.

Samtidig viste GPT-4 forbedringer når det gjaldt visuell resonnering og å svare på sensitive spørsmål (der svaret kunne forårsake skade eller bryte loven).

Kritikere av denne studien påpekte mulige metodefeil og bemerket at den resulterende dynamikken bør ses på som atferdsendring snarere enn forverring.