GPT-3.5, GPT-4: Μάθετε τη διαφορά

Το ChatGPT είναι μια εφαρμογή chatbot που αναπτύχθηκε από την OpenAI. Διαφορετικές εκδόσεις του GPT (όπως το GPT-3.5 και το GPT-4) είναι οι "εγκέφαλοι" του chatbot, η τεχνητή νοημοσύνη που επιτρέπει στο ChatGPT να αναγνωρίζει, να κατανοεί και να παράγει κείμενο με τρόπο που μοιάζει με τον ανθρώπινο.

GPT-3.5

Ο GPT-3.5 είναι μια υποκλάση της 3ης επανάληψης του Generative Pre-Trained Transformer. Πρόκειται για ένα μεγάλο γλωσσικό μοντέλο βασισμένο στην αρχιτεκτονική του μετασχηματιστή, το οποίο έχει εκπαιδευτεί σε τεράστιες ποσότητες δεδομένων κειμένου για να κατανοεί και να ανταποκρίνεται σε φυσικές γλώσσες (όπως η ελληνική, η αγγλική, η ισπανική, η γαλλική κ.λπ.). Αυτό ονομάζεται επεξεργασία φυσικής γλώσσας. Η αρχιτεκτονική του μετασχηματιστή είναι πιο προηγμένη από την προηγούμενη αναδρομική νευρωνική αρχιτεκτονική. Με απλά λόγια, βοηθά το γλωσσικό μοντέλο να κατανοήσει και να αντιληφθεί καλύτερα το κείμενο.

Οι μετασχηματιστές είναι σε θέση να κατανοούν καλύτερα τα συμφραζόμενα, να αντιλαμβάνονται τις συνδέσεις μεταξύ των λέξεων σε μια πρόταση και μια παράγραφο και να τονίζουν τις βασικές ιδέες μέσα σε ένα κείμενο.

Το GPT-3.5 έχει 175 δισεκατομμύρια παραμέτρους εκμάθησης. Εκείνη την εποχή ήταν η μεγαλύτερη από οποιοδήποτε άλλο μεγάλο γλωσσικό μοντέλο. Αυτές οι παράμετροι είναι σαν τις νευρωνικές συνδέσεις, όσο περισσότερες τόσο το καλύτερο. Το πιο εκπληκτικό είναι ότι κάποια στιγμή, όταν αυξάνεται ο αριθμός των παραμέτρων, το μοντέλο γίνεται ειδικός ακόμη και σε τομείς για τους οποίους κανείς δεν το έχει εκπαιδεύσει ειδικά: μετάφραση από μια γλώσσα σε μια άλλη, επίλυση λογικών και μαθηματικών προβλημάτων, για παράδειγμα.

Για να γίνει η αλληλεπίδραση με το GPT-3.5 πιο φυσική και ασφαλής, εφαρμόστηκε μια τεχνική που ονομάζεται ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση, όπου η ανθρώπινη συμβολή χρησιμοποιείται για τη βελτίωση των αλγορίθμων μηχανικής μάθησης.

ChatGPT-4 και πώς διαφέρει από το ChatGPT-3.5

Το GPT-4 έχει 100 τρισεκατομμύρια παραμέτρους!

Το νέο μοντέλο είναι πολλές φορές πιο προηγμένο. Μια σημαντική διαφορά που πέφτει αμέσως στην αντίληψή σας είναι ότι το GPT-4 έχει μάθει να αναγνωρίζει εικόνες. Ακούστε τι μπορεί να κάνει:

• να περιγράψει τι υπάρχει στην εικόνα,
• να εξηγεί οπτικά αστεία,
• να βρει μια λεζάντα για μια φωτογραφία,
• να προτείνει μια συνταγή με βάση το φαγητό της εικόνας,
• να κατανοήσει γραφήματα, διαγράμματα και χειρόγραφα κείμενα.

Για παράδειγμα, με βάση ένα χειροποίητο πρότυπο, το GPT-4 μπορεί να γράψει τον κώδικα για την ιστοσελίδα που θέλετε να δημιουργήσετε.

Το GPT-4 είναι επίσης καλύτερο από τον προκάτοχό του στην επεξεργασία πληροφοριών κειμένου: απομνημονεύει μεγάλες ποσότητες κειμένου για καλύτερη κατανόηση του πλαισίου και δίνει 40% πιο ακριβείς απαντήσεις. Το GPT-4 μπορεί να επεξεργαστεί το ισοδύναμο 300 σελίδων κειμένου (128 000 tokens) σε μία μόνο ερώτηση, ενώ το GPT-3.5 μπορούσε να επεξεργαστεί μόνο 14 σελίδες (16 000 tokens).

Το GPT-4 είναι τόσο έξυπνο που πέρασε τις εξετάσεις για το δικηγορικό σώμα, καταλαμβάνοντας την πρώτη θέση στο 10% (το GPT-3.5 κατέληξε να υπολείπεται των ανθρώπων κατά περίπου 17%). Σε πολλές δοκιμές, το μοντέλο ξεπερνά ακόμη και τους ανθρώπους. Συγκεκριμένα, σε τεστ μαθηματικών, φυσικής και χημείας, το GPT-4 ξεπέρασε το 88% των εξεταζομένων.

*1000 tokens αντιστοιχούν σε περίπου 750 λέξεις

Το GPT-4 ξεπερνά το GPT-3.5 σε πολλούς διαφορετικούς τομείς: από τη συγγραφή τραγουδιών και σεναρίων μέχρι την τεχνική γραφή και τις γλωσσικές μεταφράσεις.

Κριτική GPT-4

Το GPT-4 δεν είναι τέλειο με κανένα τρόπο. Μας φαίνεται ότι τα νευρωνικά δίκτυα βελτιώνονται καθημερινά, αλλά μια μελέτη από το Στάνφορντ τον Ιούνιο του 2023 έδειξε ότι τα αποτελέσματα του GPT-4 έχουν επιδεινωθεί από τον Μάρτιο.

Δοκιμές GPT-4 και GPT-3.5 τον Μάρτιο και τον Ιούνιο του 2023

Το μοντέλο παρουσίασε σημαντική υποβάθμιση των επιδόσεων στην επίλυση μαθηματικών προβλημάτων και στη δημιουργία κώδικα:

• για παράδειγμα, δυσκολεύτηκε να προσδιορίσει αν ο αριθμός 17077 ήταν πρώτος,
• και μόνο το 10% του χρόνου ήταν σε θέση να γράψει λειτουργικό κώδικα σε εργασίες που ταξινομούνται ως εύκολες από το LeetCode.

Ταυτόχρονα, το GPT-4 παρουσίασε βελτιώσεις στην οπτική σκέψη και στην απάντηση ευαίσθητων ερωτήσεων (όπου η απάντηση θα μπορούσε να προκαλέσει βλάβη ή να παραβιάσει το νόμο).

Οι επικριτές αυτής της μελέτης επεσήμαναν πιθανά σφάλματα στη μεθοδολογία και σημείωσαν ότι η δυναμική που προέκυψε θα πρέπει να θεωρηθεί ως αλλαγή συμπεριφοράς και όχι ως επιδείνωση.