GPT-3.5, GPT-4: Uzziniet atšķirību

ChatGPT ir tērzēšanas robota lietojumprogramma, ko izstrādājusi OpenAI. Dažādas GPT versijas (piemēram, GPT-3.5 un GPT-4) ir tērzēšanas robota "smadzenes" - mākslīgais intelekts, kas ļauj ChatGPT atpazīt, saprast un ģenerēt tekstu cilvēkam līdzīgā veidā.

GPT-3.5

GPT-3.5 ir Generatīvā iepriekš apmācītā transformatora trešās iterācijas apakšklase. Tas ir uz transformatora arhitektūru balstīts liels valodas modelis, kas ir apmācīts, izmantojot milzīgu teksta datu apjomu, lai saprastu un reaģētu dabiskās valodās (piemēram, latviešu, angļu, spāņu, franču, angļu u. c.). To sauc par dabiskās valodas apstrādi. Transformatora arhitektūra ir modernāka par iepriekšējo rekurentu neironu arhitektūru. Vienkāršiem vārdiem sakot, tā palīdz valodas modelim labāk saprast un uztvert tekstu.

Trasformatori spēj labāk izprast kontekstu, uztvert sakarības starp vārdiem teikumā un rindkopā, kā arī uzsvērt galvenās idejas tekstā.

GPT-3.5 ir 175 miljardi mācību parametru. Tolaik tas bija lielākais rādītājs no visiem lielajiem valodas modeļiem. Šie parametri ir kā neironu savienojumi - jo vairāk, jo labāk. Pārsteidzošākais ir tas, ka kādā brīdī, palielinoties parametru skaitam, modelis kļūst par ekspertu pat tādās jomās, kurās neviens to nav speciāli apmācījis: piemēram, tulkošanā no vienas valodas uz citu, loģisko un matemātisko uzdevumu risināšanā.

Lai padarītu mijiedarbību ar GPT-3.5 dabiskāku un drošāku, tika izmantota metode, ko sauc par pastiprinātu mācīšanos no cilvēka atsauksmēm, kad cilvēka ieguldījums tiek izmantots, lai uzlabotu mašīnmācīšanās algoritmus.

ChatGPT-4 un tās atšķirības no ChatGPT-3.5

GPT-4 ir 100 triljoni parametru!

Jaunais modelis ir daudzkārt modernāks. Viena no svarīgākajām atšķirībām, kas uzreiz krīt acīs, ir tā, ka GPT-4 ir iemācījies atpazīt attēlus. Lūk, ko tas spēj:

• aprakstīt, kas ir attēlā,
• izskaidrot vizuālus jokus,
• izdomāt uzrakstu fotogrāfijai,
• ieteikt recepti, pamatojoties uz attēlā redzamo ēdienu,
• saprast grafikus, diagrammas un ar roku rakstītu tekstu.

Piemēram, balstoties uz ar roku zīmētu veidni, GPT-4 var uzrakstīt vēlamās tīmekļa lapas kodu.

GPT-4 arī labāk nekā tā priekšgājējs apstrādā teksta informāciju: tas iegaumē lielu teksta apjomu, lai labāk izprastu kontekstu, un sniedz par 40 % precīzākas atbildes. GPT-4 var apstrādāt 300 lappušu teksta ekvivalentu (128 000 tokenu) vienā uzvednē, savukārt GPT-3.5 varēja apstrādāt tikai 14 lappuses (16 000 tokenu).

GPT-4 ir tik gudrs, ka tas nokārtoja jurista eksāmenu, ierindojoties 10 % labāko (GPT-3.5 atpaliek no cilvēkiem par aptuveni 17 %). Daudzos testos modelis pārspēja pat cilvēkus. Konkrētāk, matemātikas, fizikas un ķīmijas testos GPT-4 pārspēja 88 % testu kārtotāju.

*1000 tokenu ir aptuveni 750 vārdi

GPT-4 pārspēj GPT-3.5 daudzās dažādās jomās: no dziesmu un scenāriju rakstīšanas līdz tehniska rakstura un valodu tulkojumiem.

GPT-4 kritika

GPT-4 nekādā ziņā nav ideāls. Mums šķiet, ka neironu tīkli ar katru dienu kļūst arvien labāki, taču 2023. gada jūnijā Stenfordas universitātē veiktais pētījums liecina, ka GPT-4 rezultāti kopš marta ir pasliktinājušies.

GPT-4 un GPT-3.5 testēšana 2023. gada martā un jūnijā

Modelis uzrādīja būtisku veiktspējas samazināšanos matemātisko uzdevumu risināšanā un koda ģenerēšanā:

• piemēram, tam bija grūtības noteikt, vai skaitlis 17077 ir pirmskaitlis,
• un tikai 10 % gadījumu tas spēja uzrakstīt strādājošu kodu uzdevumos, kurus LeetCode klasificēja kā vieglus.

Tajā pašā laikā GPT-4 uzrādīja uzlabojumus vizuālajā spriešanā un atbildēs uz jutīgiem jautājumiem (ja atbilde var kaitēt vai pārkāpt likumu).

Šī pētījuma kritiķi norādīja uz iespējamām kļūdām metodoloģijā un atzīmēja, ka iegūtā dinamika drīzāk jāuzskata par uzvedības izmaiņām, nevis pasliktināšanos.