GPT-3.5, GPT-4: Tìm hiểu sự khác biệt

ChatGPT là một ứng dụng chatbot được phát triển bởi OpenAI. Các phiên bản khác nhau của GPT (chẳng hạn như GPT-3.5 và GPT-4) là “bộ não” của chatbot, trí tuệ nhân tạo cho phép ChatGPT nhận dạng, hiểu và tạo văn bản theo cách giống con người.

GPT-3.5

GPT-3.5 là lớp con của phiên bản thứ 3 của Máy biến áp được đào tạo trước tạo ra. Đó là một mô hình ngôn ngữ lớn dựa trên kiến trúc máy biến áp đã được đào tạo trên lượng lớn dữ liệu văn bản để hiểu và phản hồi bằng các ngôn ngữ tự nhiên (như tiếng Việt, tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, v.v.). Đó gọi là xử lý ngôn ngữ tự nhiên. Kiến trúc máy biến áp tiên tiến hơn kiến trúc thần kinh tái phát trước đó. Nói một cách đơn giản, nó giúp mô hình ngôn ngữ hiểu và nắm bắt văn bản tốt hơn.

Trasformers có thể hiểu rõ hơn về ngữ cảnh, nhận thức được mối liên hệ giữa các từ trong câu và đoạn văn, đồng thời nhấn mạnh các ý chính trong văn bản.

GPT-3.5 có 175 tỷ tham số học tập. Vào thời điểm đó, đây là mức cao nhất so với bất kỳ mô hình ngôn ngữ lớn nào khác. Những thông số này giống như các kết nối thần kinh, càng nhiều càng tốt. Điều đáng ngạc nhiên nhất là tại một thời điểm nào đó, khi số lượng tham số tăng lên, mô hình sẽ trở thành chuyên gia ngay cả trong những lĩnh vực mà chưa ai đào tạo đặc biệt cho nó: dịch từ ngôn ngữ này sang ngôn ngữ khác, giải quyết các vấn đề logic và toán học chẳng hạn.

Để làm cho việc tương tác với GPT-3.5 trở nên tự nhiên và an toàn hơn, một kỹ thuật gọi là học tăng cường từ phản hồi của con người đã được áp dụng, trong đó đầu vào của con người được sử dụng để cải thiện các thuật toán học máy.

ChatGPT-4 và nó khác với ChatGPT-3.5 như thế nào

GPT-4 có 100 nghìn tỷ thông số!

Mẫu mới cao cấp hơn gấp nhiều lần. Một điểm khác biệt quan trọng khiến bạn chú ý ngay lập tức là GPT-4 đã học cách nhận dạng hình ảnh. Đây là những gì nó có thể làm:

• mô tả những gì trong hình ảnh,
• giải thích những câu chuyện cười bằng hình ảnh,
• nghĩ ra chú thích cho một bức ảnh,
• gợi ý công thức nấu ăn dựa trên món ăn trong hình,
• hiểu đồ thị, biểu đồ và văn bản viết tay.

Ví dụ: dựa trên mẫu vẽ tay, GPT-4 có thể viết mã cho trang web bạn muốn tạo.

GPT-4 cũng xử lý thông tin văn bản tốt hơn phiên bản tiền nhiệm: nó ghi nhớ lượng lớn văn bản để hiểu ngữ cảnh tốt hơn và đưa ra câu trả lời chính xác hơn 40%. GPT-4 có thể xử lý tương đương 300 trang văn bản (128.000 token) trong một lời nhắc, trong khi GPT-3.5 chỉ có thể xử lý 14 trang (16.000 token).

GPT-4 thông minh đến mức nó đã vượt qua kỳ thi tiêu chuẩn, lọt vào top 10% (GPT-3.5 kém con người khoảng 17%). Trong nhiều thử nghiệm, mô hình này thậm chí còn vượt trội hơn con người. Cụ thể, ở các bài thi toán, lý, hóa, GPT-4 vượt trội hơn 88% thí sinh.

*1000 token là khoảng 750 từ

GPT-4 vượt trội hơn GPT-3.5 ở nhiều lĩnh vực khác nhau: từ viết nhạc và viết kịch bản cho đến viết kỹ thuật và dịch ngôn ngữ.

Những lời chỉ trích về GPT-4

GPT-4 không hoàn hảo về mọi mặt. Đối với chúng tôi, có vẻ như mạng lưới thần kinh đang trở nên tốt hơn mỗi ngày, nhưng một nghiên cứu từ Stanford vào tháng 6 năm 2023 cho thấy kết quả GPT-4 đã xấu đi kể từ tháng 3.

Thử nghiệm GPT-4 và GPT-3.5 vào tháng 3 và tháng 6 năm 2023

Mô hình cho thấy sự suy giảm hiệu suất đáng kể trong việc giải các bài toán và tạo mã:

• ví dụ: nó gặp khó khăn trong việc xác định xem số 17077 có phải là số nguyên tố hay không,
• và chỉ 10% thời gian nó có thể viết mã làm việc trong các tác vụ được LeetCode phân loại là dễ dàng.

Đồng thời, GPT-4 cho thấy những cải tiến về khả năng suy luận trực quan và trả lời các câu hỏi nhạy cảm (trong đó câu trả lời có thể gây hại hoặc vi phạm pháp luật).

Những người phê bình nghiên cứu này đã chỉ ra những sai sót có thể xảy ra trong phương pháp luận và lưu ý rằng các động lực dẫn đến nên được xem là sự thay đổi hành vi chứ không phải là sự suy thoái.