GPT-3.5, GPT-4: Pelajari perbedaannya

ChatGPT adalah aplikasi chatbot yang dikembangkan oleh OpenAI. Versi GPT yang berbeda (seperti GPT-3.5 dan GPT-4) adalah "otak" chatbot, yaitu kecerdasan buatan yang memungkinkan ChatGPT mengenali, memahami, dan menghasilkan teks dengan cara yang mirip dengan manusia.

GPT-3.5

GPT-3.5 adalah subkelas dari iterasi ke-3 dari Generative Pre-Trained Transformer. Ini adalah model bahasa yang besar berdasarkan arsitektur transformator yang telah dilatih pada sejumlah besar data teks untuk memahami dan merespons dalam bahasa alami (seperti bahasa Indonesia, Inggris, Spanyol, Prancis, dll.). Itulah yang disebut pemrosesan bahasa alami. Arsitektur transformer lebih maju daripada arsitektur neural recurrent sebelumnya. Dengan kata sederhana, ini membantu model bahasa memahami dan menangkap teks dengan lebih baik.

Trasformer mampu memahami konteks dengan lebih baik, memahami hubungan antar kata dalam kalimat dan paragraf, dan menekankan ide-ide kunci dalam teks.

GPT-3.5 memiliki 175 miliar parameter pembelajaran. Pada saat itu, jumlah ini adalah yang terbanyak dibandingkan model bahasa besar lainnya. Parameter ini seperti koneksi saraf, lebih banyak lebih baik. Hal yang paling mengejutkan adalah bahwa pada titik tertentu, ketika jumlah parameter meningkat, model ini menjadi ahli bahkan di area yang tidak ada yang melatihnya secara khusus: menerjemahkan dari satu bahasa ke bahasa lain, memecahkan masalah logika dan matematika, misalnya.

Untuk membuat interaksi dengan GPT-3.5 lebih alami dan lebih aman, sebuah teknik yang disebut pembelajaran penguatan dari umpan balik manusia diterapkan, di mana masukan dari manusia digunakan untuk meningkatkan algoritme pembelajaran mesin.

ChatGPT-4 dan perbedaannya dengan ChatGPT-3.5

GPT-4 memiliki 100 triliun parameter!

Model baru ini jauh lebih canggih. Satu perbedaan penting yang langsung menarik perhatian Anda adalah, bahwa GPT-4 telah belajar mengenali gambar. Inilah yang dapat dilakukannya:

• menjelaskan apa yang ada di dalam gambar,
• menjelaskan lelucon visual,
• memberikan keterangan untuk sebuah foto,
• menyarankan resep berdasarkan makanan dalam gambar,
• memahami grafik, bagan, dan teks tulisan tangan.

Misalnya, berdasarkan templat yang digambar tangan, GPT-4 dapat menulis kode untuk halaman web yang ingin Anda buat.

GPT-4 juga bekerja lebih baik daripada pendahulunya dalam memproses informasi tekstual: GPT-4 menghafal teks dalam jumlah besar untuk pemahaman kontekstual yang lebih baik dan memberikan jawaban yang 40% lebih akurat. GPT-4 dapat memproses setara dengan 300 halaman teks (128.000 token) dalam satu kali perintah, sementara GPT-3.5 hanya dapat memproses 14 halaman (16.000 token).

GPT-4 sangat pintar sehingga lulus ujian, berada di posisi 10% teratas (GPT-3.5 akhirnya tertinggal dari manusia sekitar 17%). Dalam banyak tes, model ini bahkan mengungguli manusia. Secara khusus, dalam tes matematika, fisika, dan kimia, GPT-4 mengungguli 88% peserta tes.

*1000 token adalah sekitar 750 kata

GPT-4 mengungguli GPT-3.5 di berbagai bidang: mulai dari penulisan lagu dan penulisan naskah hingga penulisan teknis dan terjemahan bahasa.

Kritik terhadap GPT-4

GPT-4 sama sekali tidak sempurna. Tampaknya bagi kami jaringan saraf menjadi lebih baik setiap hari, tetapi sebuah studi dari Stanford pada Juni 2023 menunjukkan bahwa hasil GPT-4 telah memburuk sejak Maret.

Menguji GPT-4 dan GPT-3.5 pada bulan Maret dan Juni 2023

Model ini menunjukkan penurunan kinerja yang signifikan dalam memecahkan masalah matematika dan pembuatan kode:

• sebagai contoh, ia mengalami kesulitan untuk menentukan apakah bilangan 17077 adalah bilangan prima,
• dan hanya 10% dari waktu yang digunakan untuk menulis kode kerja dalam tugas-tugas yang diklasifikasikan sebagai tugas yang mudah oleh LeetCode.

Pada saat yang sama, GPT-4 menunjukkan peningkatan dalam penalaran visual dan menjawab pertanyaan-pertanyaan sensitif (di mana jawabannya dapat membahayakan atau melanggar hukum).

Kritik terhadap penelitian ini menunjukkan kemungkinan kesalahan dalam metodologi dan mencatat bahwa dinamika yang dihasilkan harus dilihat sebagai perubahan perilaku daripada kemunduran.