GPT-3.5, GPT-4: Lär dig skillnaden

ChatGPT är en chatbot-applikation som utvecklats av OpenAI. Olika versioner av GPT (t.ex. GPT-3.5 och GPT-4) är chatbotens "hjärnor", den artificiella intelligens som gör att ChatGPT kan känna igen, förstå och generera text på ett människoliknande sätt.

GPT-3.5

GPT-3.5 är en underklass till den tredje iterationen av Generative Pre-Trained Transformer. Det är en stor språkmodell baserad på transformatorarkitektur som har tränats på stora mängder textdata för att förstå och svara på naturliga språk (som svenska, engelska, spanska, franska, etc.). Det kallas naturlig språkbehandling. Transformatorarkitekturen är mer avancerad än tidigare återkommande neurala arkitekturer. Enkelt uttryckt hjälper den språkmodellen att bättre förstå och ta till sig texten.

Trasformers kan bättre förstå sammanhang, uppfatta sambanden mellan ord i en mening och ett stycke samt betona de viktigaste idéerna i en text.

GPT-3.5 har 175 miljarder inlärningsparametrar. Vid den tidpunkten var detta det största antalet för någon annan stor språkmodell. Dessa parametrar är som neurala kopplingar, ju fler desto bättre. Det mest överraskande är att modellen vid någon tidpunkt, när antalet parametrar ökar, blir expert även på områden som ingen har tränat den speciellt för: att översätta från ett språk till ett annat, lösa logiska och matematiska problem, till exempel.

För att göra interaktionen med GPT-3.5 mer naturlig och säkrare användes en teknik som kallas förstärkningsinlärning från mänsklig feedback, där mänsklig input används för att förbättra maskininlärningsalgoritmer.

ChatGPT-4 och hur det skiljer sig från ChatGPT-3.5

GPT-4 har 100 biljoner parametrar!

Den nya modellen är många gånger mer avancerad. En viktig skillnad som man direkt lägger märke till är att GPT-4 har lärt sig att känna igen bilder. Här är vad den kan göra:

• beskriva vad som finns på bilden,
• förklara visuella skämt,
• komma på en bildtext till ett foto,
• föreslå ett recept baserat på maten på bilden,
• förstå grafer, diagram och handskriven text.

Baserat på en handritad mall kan GPT-4 till exempel skriva koden för den webbsida du vill skapa.

GPT-4 är också bättre än sin föregångare på att bearbeta textinformation: den memorerar stora mängder text för bättre kontextuell förståelse och ger 40% mer korrekta svar. GPT-4 kan bearbeta motsvarande 300 sidor text (128 000 tokens) i en enda fråga, medan GPT-3.5 bara kunde bearbeta 14 sidor (16 000 tokens).

GPT-4 är så smart att den klarade advokatexamen och placerade sig bland de 10 % bästa (GPT-3.5 hamnade efter människorna med ca 17 %). I många tester överträffar modellen till och med människor. I matematik-, fysik- och kemitester överträffade GPT-4 88 % av testdeltagarna.

*1000 tokens är ungefär 750 ord

GPT-4 överträffar GPT-3.5 inom många olika områden: från låtskrivande och manusförfattande till tekniskt skrivande och språköversättningar.

Kritik av GPT-4

GPT-4 är inte perfekt på något sätt. Det verkar som om neurala nätverk bara blir bättre för varje dag, men en studie från Stanford i juni 2023 visade att GPT-4-resultaten har försämrats sedan mars.

Test av GPT-4 och GPT-3.5 i mars och juni 2023

Modellen uppvisade betydande prestandaförluster när det gällde att lösa matematiska problem och generera kod:

• den hade till exempel svårt att avgöra om talet 17077 var primtal,
• och endast 10 % av tiden kunde den skriva fungerande kod i uppgifter som klassificerades som lätta av LeetCode.

Samtidigt visade GPT-4 förbättringar när det gällde visuellt resonemang och att besvara känsliga frågor (där svaret kunde orsaka skada eller bryta mot lagen).

Kritiker av denna studie pekade på möjliga fel i metodiken och noterade att den resulterande dynamiken bör ses som beteendeförändring snarare än försämring.