GPT-3.5, GPT-4: Leer het verschil

ChatGPT is een chatbot-applicatie ontwikkeld door OpenAI. Verschillende versies van GPT (zoals GPT-3.5 en GPT-4) zijn de "hersenen" van de chatbot, de kunstmatige intelligentie waarmee ChatGPT tekst op een mensachtige manier kan herkennen, begrijpen en genereren.

GPT-3.5

GPT-3.5 is een subklasse van de 3e iteratie van Generative Pre-Trained Transformer. Het is een groot taalmodel gebaseerd op transformatorarchitectuur dat is getraind op enorme hoeveelheden tekstgegevens om natuurlijke talen (zoals Nederlands, Engels, Spaans, Frans, enz.) te begrijpen en erop te reageren. Dat heet natuurlijke taalverwerking. De transformatorarchitectuur is geavanceerder dan eerdere terugkerende neurale architectuur. In eenvoudige woorden, het helpt het taalmodel om de tekst beter te begrijpen en te vatten.

Trasformers zijn in staat om de context beter te begrijpen, de verbanden tussen woorden in een zin en alinea waar te nemen en de belangrijkste ideeën in een tekst te benadrukken.

GPT-3.5 heeft 175 miljard leerparameters. Destijds was dit het meeste van elk ander groot taalmodel. Deze parameters zijn als neurale verbindingen, hoe meer hoe beter. Het meest verrassende is dat op een gegeven moment, wanneer het aantal parameters toeneemt, het model een expert wordt, zelfs op gebieden waar niemand het speciaal voor getraind heeft: vertalen van de ene taal naar de andere, oplossen van logische en wiskundige problemen, bijvoorbeeld.

Om de interactie met GPT-3.5 natuurlijker en veiliger te maken, werd een techniek toegepast die versterkend leren van menselijke feedback wordt genoemd, waarbij menselijke input wordt gebruikt om algoritmen voor machinaal leren te verbeteren.

ChatGPT-4 en hoe het verschilt van ChatGPT-3.5

GPT-4 heeft 100 biljoen parameters!

Het nieuwe model is vele malen geavanceerder. Een belangrijk verschil dat meteen opvalt, is dat de GPT-4 heeft geleerd om beelden te herkennen. Dit is wat het kan doen:

• beschrijven wat er op de afbeelding staat,
• visuele grapjes uitleggen,
• een onderschrift bij een foto bedenken,
• een recept voorstellen op basis van het voedsel op de foto,
• grafieken, diagrammen en handgeschreven tekst begrijpen.

Op basis van een met de hand getekend sjabloon kan GPT-4 bijvoorbeeld de code schrijven voor de webpagina die je wilt maken.

GPT-4 doet het ook beter dan zijn voorganger bij het verwerken van tekstuele informatie: het onthoudt grote hoeveelheden tekst voor een beter begrip van de context en geeft 40% nauwkeurigere antwoorden. GPT-4 kan het equivalent van 300 pagina's tekst (128 000 tokens) in één prompt verwerken, terwijl GPT-3.5 slechts 14 pagina's (16 000 tokens) kon verwerken.

GPT-4 is zo slim dat het slaagde voor het bar-examen en in de top 10% eindigde (GPT-3.5 eindigde achter mensen met ongeveer 17%). In veel tests presteert het model zelfs beter dan mensen. In wiskunde, natuurkunde en scheikunde presteerde GPT-4 beter dan 88% van de testgebruikers.

*1000 tokens is ongeveer 750 woorden

GPT-4 presteert beter dan GPT-3.5 op veel verschillende gebieden: van songwriting en scriptwriting tot technisch schrijven en taalvertalingen.

GPT-4 kritiek

GPT-4 is zeker niet perfect. Het lijkt ons dat neurale netwerken alleen maar beter worden, maar een onderzoek van Stanford in juni 2023 toonde aan dat de resultaten van GPT-4 sinds maart zijn verslechterd.

GPT-4 en GPT-3.5 testen in maart en juni 2023

Het model vertoonde aanzienlijke prestatievermindering bij het oplossen van wiskundige problemen en het genereren van codes:

• het had bijvoorbeeld moeite om te bepalen of het getal 17077 een priemgetal was,
• en slechts 10% van de tijd was het in staat om werkende code te schrijven in taken die door LeetCode als makkelijk werden geclassificeerd.

Tegelijkertijd liet GPT-4 verbeteringen zien in visueel redeneren en het beantwoorden van gevoelige vragen (waarbij het antwoord schade zou kunnen berokkenen of de wet zou kunnen overtreden).

Critici van dit onderzoek wezen op mogelijke fouten in de methodologie en merkten op dat de resulterende dynamiek moet worden gezien als gedragsverandering in plaats van achteruitgang.