GPT-3.5, GPT-4: Farkı öğrenin

ChatGPT, OpenAI tarafından geliştirilen bir chatbot uygulamasıdır. GPT'nin farklı sürümleri (GPT-3.5 ve GPT-4 gibi) ChatGPT'nin insan benzeri bir şekilde metni tanımasını, anlamasını ve üretmesini sağlayan yapay zeka olan chatbot'un "beyinleri" dir.

GPT-3.5

GPT-3.5, Generative Pre-Trained Transformer'ın 3. iterasyonunun bir alt sınıfıdır. Doğal dilleri (Türkçe, İngilizce, İspanyolca, Fransızca vb.) anlamak ve yanıtlamak için büyük miktarda metin verisi üzerinde eğitilmiş dönüştürücü mimarisine dayalı büyük bir dil modelidir. Buna doğal dil işleme denir. Dönüştürücü mimarisi, önceki tekrarlayan nöral mimariden daha gelişmiştir. Basit bir ifadeyle, dil modelinin metni daha iyi anlamasına ve kavramasına yardımcı olur.

Dönüştürücüler bağlamı daha iyi anlayabilir, bir cümle veya paragraftaki kelimeler arasındaki bağlantıları algılayabilir ve bir metindeki anahtar fikirleri vurgulayabilir.

GPT-3.5 175 milyar öğrenme parametresine sahiptir. O zamanlar bu, diğer tüm büyük dil modellerinin en fazlasıydı. Bu parametreler sinir bağlantıları gibidir, ne kadar çok olursa o kadar iyidir. En şaşırtıcı şey, parametre sayısı arttığında modelin bir noktada, kimsenin özel olarak eğitmediği alanlarda bile uzmanlaşmasıdır: örneğin bir dilden diğerine çeviri yapmak, mantıksal ve matematiksel problemleri çözmek.

GPT-3.5 ile etkileşimi daha doğal ve daha güvenli hale getirmek için, makine öğrenimi algoritmalarını iyileştirmek için insan girdisinin kullanıldığı, insan geri bildiriminden takviye öğrenme adı verilen bir teknik uygulanmıştır.

ChatGPT-4 ve ChatGPT-3.5'ten farkı

GPT-4'ün 100 trilyon parametresi vardır!

Yeni model çok daha gelişmiş. Hemen göze çarpan önemli bir fark, GPT-4'ün görüntüleri tanımayı öğrenmiş olmasıdır. İşte yapabildikleri:

• resimde ne olduğunu tanımlayabilir,
• görsel şakaları açıklar,
• bir fotoğraf için bir başlık bulmak,
• resimdeki yiyeceğe göre bir tarif önerin,
• grafikleri, çizelgeleri ve el yazısı metinleri anlayabilir.

Örneğin, elle çizilmiş bir şablonu temel alan GPT-4, oluşturmak istediğiniz web sayfasının kodunu yazabilir.

GPT-4 ayrıca metinsel bilgileri işleme konusunda da selefinden daha başarılıdır: daha iyi bağlamsal anlayış için büyük miktarda metni hafızasına alır ve %40 daha doğru cevaplar verir. GPT-4 tek bir istemde 300 sayfalık metne (128.000 token) eşdeğer işlem yapabilirken, GPT-3.5 yalnızca 14 sayfayı (16.000 token) işleyebilmektedir.

GPT-4 o kadar akıllıdır ki baro sınavını geçerek ilk %10'a girmiştir (GPT-3.5 insanları yaklaşık %17 oranında geride bırakmıştır). Model birçok testte insanlardan bile daha iyi performans göstermiştir. Özellikle matematik, fizik ve kimya testlerinde GPT-4, teste katılanların %88'inden daha iyi performans göstermiştir.

*1000 token yaklaşık 750 kelimedir

GPT-4, şarkı ve senaryo yazımından teknik yazım ve dil çevirilerine kadar birçok farklı alanda GPT-3.5'ten daha iyi performans gösteriyor.

GPT-4 eleştirisi

GPT-4 hiçbir şekilde mükemmel değildir. Bize öyle geliyor ki sinir ağları her geçen gün daha iyiye gidiyor, ancak Haziran 2023'te Stanford'da yapılan bir çalışma GPT-4 sonuçlarının Mart ayından bu yana kötüleştiğini gösterdi.

GPT-4 ve GPT-3.5'in Mart ve Haziran 2023'te test edilmesi

Model, matematik problemlerini çözmede ve kod oluşturmada önemli performans düşüşü göstermiştir:

• örneğin, 17077 sayısının asal olup olmadığını belirlemekte zorlandı,
• ve LeetCode tarafından kolay olarak sınıflandırılan görevlerde yalnızca %10 oranında çalışan kod yazabilmiştir.

Aynı zamanda, GPT-4 görsel muhakeme ve hassas sorulara (cevabın zarar verebileceği veya yasaları çiğneyebileceği) cevap verme konusunda iyileşmeler göstermiştir.

Bu çalışmayı eleştirenler metodolojideki olası hatalara dikkat çekmiş ve ortaya çıkan dinamiklerin bozulmadan ziyade davranış değişikliği olarak görülmesi gerektiğini belirtmişlerdir.