GPT-3.5, GPT-4: Научете каква е разликата

ChatGPT е приложение за чатбот, разработено от OpenAI. Различните версии на GPT (като GPT-3.5 и GPT-4) са "мозъците" на чатбота - изкуственият интелект, който позволява на ChatGPT да разпознава, разбира и генерира текст по начин, подобен на човешкия.

GPT-3.5

GPT-3.5 е подклас на третата итерация на Generative Pre-Trained Transformer. Това е голям езиков модел, базиран на архитектурата на трансформатора, който е обучен върху огромни количества текстови данни, за да разбира и отговаря на естествени езици (като български, английски, испански, френски и др.). Това се нарича обработка на естествен език. Трансформаторната архитектура е по-усъвършенствана от предишната рекурентна невронна архитектура. С прости думи, тя помага на езиковия модел да разбере и възприеме по-добре текста.

Трасформаторите са в състояние да разбират по-добре контекста, да възприемат връзките между думите в изречението и параграфа и да акцентират върху ключовите идеи в текста.

GPT-3.5 има 175 милиарда параметри за обучение. По онова време това беше най-големият брой от всички други големи езикови модели. Тези параметри са като невронните връзки - колкото повече, толкова по-добре. Най-изненадващото е, че в един момент, когато броят на параметрите се увеличи, моделът става експерт дори в области, за които никой не го е обучавал специално: например превод от един език на друг, решаване на логически и математически задачи.

За да се направи взаимодействието с GPT-3.5 по-естествено и по-безопасно, беше приложена техника, наречена усилено обучение от човешка обратна връзка, при която човешкият принос се използва за подобряване на алгоритмите за машинно обучение.

ChatGPT-4 и по какво се различава от ChatGPT-3.5

GPT-4 има 100 трилиона параметри!

Новият модел е многократно по-усъвършенстван. Една от важните разлики, която веднага се набива на очи, е, че GPT-4 се е научил да разпознава изображения. Ето какво може да прави:

• описва какво има на снимката,
• да обяснява визуални шеги,
• да измисли надпис за снимка,
• да предложи рецепта въз основа на храната на снимката,
• да разбира графики, диаграми и ръкописен текст.

Например, въз основа на ръчно нарисуван шаблон, GPT-4 може да напише кода за уеб страницата, която искате да създадете.

GPT-4 се справя по-добре от своя предшественик и с обработката на текстова информация: той запомня големи количества текст за по-добро разбиране на контекста и дава 40% по-точни отговори. GPT-4 може да обработи текст, еквивалентен на 300 страници (128 000 токена), в рамките на едно запитване, докато GPT-3.5 може да обработи само 14 страници (16 000 токена).

GPT-4 е толкова интелигентен, че успешно издържа изпита за юристи, като се класира в първите 10% (GPT-3.5 изостава от хората с около 17%). В много тестове моделът превъзхожда дори хората. По-конкретно, в тестовете по математика, физика и химия GPT-4 превъзхожда 88 % от участниците в изпита.

*1000 токена са около 750 думи

GPT-4 превъзхожда GPT-3.5 в много различни области: от писане на песни и сценарии до техническо писане и езикови преводи.

Критика към GPT-4

GPT-4 в никакъв случай не е съвършен. Струва ни се, че невронните мрежи стават все по-добри с всеки изминал ден, но проучване от Станфорд от юни 2023 г. показва, че резултатите на GPT-4 са се влошили от март насам.

Тестване на GPT-4 и GPT-3.5 през март и юни 2023 г.

Моделът показа значително намаляване на производителността при решаването на математически задачи и генерирането на код:

• например, той се затрудни да определи дали числото 17077 е просто,
• и само в 10% от случаите успяваше да напише работещ код в задачи, класифицирани като лесни от LeetCode.

В същото време GPT-4 показа подобрения във визуалното мислене и отговарянето на чувствителни въпроси (когато отговорът може да причини вреда или да наруши закона).

Критиците на това изследване посочиха възможни грешки в методологията и отбелязаха, че получената динамика трябва да се разглежда по-скоро като промяна в поведението, отколкото като влошаване.