DeepSeek: Nowy rozdział w sztucznej inteligencji

DeepSeek to prawdziwy fenomen. Zaledwie kilka dni po premierze, chiński chatbot wskoczył na szczyt najczęściej pobieranych aplikacji w Apple App Store, detronizując ChatGPT. Dla wielu był to szok, że stosunkowo nieznana firma z minimalnymi inwestycjami - jej budżet jest około 14 razy mniejszy niż OpenAI - zdołała wyprzedzić, nawet jeśli tymczasowo, niekwestionowanego lidera rynku.

Historia DeepSeek

Firma DeepSeek została założona przez chińskiego miliardera Liang Wengfeng. Wykształcony na Uniwersytecie Zhejiang, Liang uzyskał tytuł licencjata inżynierii w dziedzinie inżynierii informacji elektronicznej w 2007 roku oraz tytuł magistra inżynierii w dziedzinie inżynierii informacji i komunikacji w 2010 roku.

W 2008 r. Liang utworzył zespół z kolegami z uczelni, aby gromadzić dane związane z rynkami finansowymi i badać handel ilościowy przy użyciu uczenia maszynowego. W lutym 2016 r. Liang i dwaj inni koledzy z klasy inżynierskiej współzałożyli High-Flyer, firmę koncentrującą się na wykorzystaniu sztucznej inteligencji do algorytmów handlowych (dokonywanie inwestycji, wykrywanie wzorców w cenach akcji itp.)

W kwietniu 2023 r. firma High-Flyer utworzyła laboratorium sztucznej inteligencji ogólnej poświęcone opracowywaniu narzędzi sztucznej inteligencji, które nie byłyby wykorzystywane do handlu akcjami. Do maja 2023 r. laboratorium to stało się niezależnym podmiotem o nazwie DeepSeek.

W styczniu 2025 r. DeepSeek trafił na pierwsze strony gazet wraz z wydaniem DeepSeek-R1, modelu sztucznej inteligencji z 671 miliardami parametrów o otwartym kodzie źródłowym. Model ten szybko zyskał popularność, stając się darmową aplikacją numer jeden w amerykańskim sklepie Apple App Store.

Liang Wengfeng

Kluczowe kamienie milowe:

• 2016. Założenie High-Flyer. Firma ta początkowo koncentrowała się na algorytmach handlu sztuczną inteligencją, tworząc podwaliny pod DeepSeek.
• 2023. Założenie DeepSeek. Założona w kwietniu jako laboratorium sztucznej inteligencji w ramach High-Flyer, firma DeepSeek stała się niezależna w maju.
• 2025. Premiera DeepSeek-R1. Szybko stał się światową sensacją, zajmując czołowe miejsca na listach przebojów jako jeden z najpopularniejszych chatbotów.

Droga DeepSeek na szczyt nie była łatwa. Na początku firma polegała na układach graficznych Nvidia A100, których eksport do Chin został później zakazany przez administrację USA. Deweloperzy przerzucili się następnie na mniej wydajne układy H800, ale te również zostały wkrótce ograniczone. Pomimo tych wyzwań, DeepSeek zdołał stworzyć swój zaawansowany model R1 przy użyciu chipów H800 o wartości zaledwie 5,6 miliona dolarów. Aby spojrzeć na to z perspektywy, szacuje się, że szkolenie GPT-4 kosztuje od 50 do 100 milionów dolarów.

„Naszym największym wyzwaniem nigdy nie były pieniądze, ale embargo na wysokiej klasy chipy” - powiedział Liang.

Funkcje i kluczowe technologie DeepSeek

W przeciwieństwie do wielu innych popularnych chatbotów, modele DeepSeek są open-source, co oznacza, że użytkownicy mogą zbadać, jak technologia działa pod maską. Ta przejrzystość buduje zaufanie, ponieważ zapewnia, że chatbot nie jest tajemniczą „czarną skrzynką” - jego zachowanie może być zbadane i zrozumiane przez społeczność.

Komponenty open-source umożliwiają deweloperom i badaczom wprowadzanie ulepszeń, naprawianie błędów lub dostosowywanie technologii do konkretnych potrzeb. Dlatego też projekty open-source mają tendencję do szybkiego rozwoju dzięki wkładowi społeczności. Nowe funkcje, ulepszenia i aplikacje pojawiają się szybciej niż w przypadku systemów zastrzeżonych.

Niektóre z ważnych rozwiązań technicznych, które sprawiają, że modele DeepSeek działają tak wydajnie, jak to tylko możliwe:

• MoE (Mixture of Experts)
• MLA (Multi-head Latent Attention)
• MTP (Multi-Token Prediction)

Mixture of Experts (MoE) to technika uczenia maszynowego, która polega na łączeniu przewidywań wielu wyspecjalizowanych modeli („ekspertów”) w celu poprawy ogólnej wydajności chatbota.

Oto jak to działa w DeepSeek:

• DeepSeek ma prawdopodobnie dużą pulę 256 wyspecjalizowanych sieci neuronowych (ekspertów). Każdy ekspert to mniejszy model przeszkolony do obsługi określonych wzorców lub funkcji w danych. Na przykład w przetwarzaniu języka naturalnego jeden ekspert może specjalizować się w składni, inny w semantyce, jeszcze inny w wiedzy specyficznej dla domeny itp.
• Sieć bramkująca decyduje, których ekspertów aktywować dla każdego tokena wejściowego. Ocenia dane wejściowe i przypisuje wagi ekspertom, wybierając 8 najlepszych ekspertów najbardziej odpowiednich dla bieżącego tokena. Zapewnia to, że tylko niewielki podzbiór wszystkich ekspertów jest używany w danym momencie.
• Zamiast uruchamiać wszystkich 256 ekspertów dla każdego tokena (co byłoby kosztowne obliczeniowo), aktywowanych jest tylko 8 najlepszych ekspertów. Drastycznie zmniejsza to koszty obliczeniowe, jednocześnie wykorzystując pełną wydajność modelu.

Aktywując tylko niewielki podzbiór ekspertów, DeepSeek osiąga efektywność wykorzystania zasobów. Model można skalować do bardzo dużych rozmiarów (pod względem parametrów) bez proporcjonalnego wzrostu obliczeń.

Multi-head Latent Attention (MLA) to potężny mechanizm, który łączy mocne strony uwagi wielogłowicowej i ukrytych reprezentacji przestrzeni w celu poprawy wydajności i wydajności.

Oto jak działa on w DeepSeek:

• W standardowej uwadze wielogłowicowej dane wejściowe są dzielone na wiele „głowic”, z których każda uczy się skupiać na różnych aspektach danych.
• Dane wejściowe (np. tekst, obrazy lub inne ustrukturyzowane dane) są najpierw kodowane do reprezentacji wielowymiarowej.
• Reprezentacja wejściowa jest rzutowana na przestrzeń ukrytą o niższym wymiarze przy użyciu wyuczonej transformacji (np. warstwy sieci neuronowej).
• Ukryta reprezentacja jest dzielona na wiele głowic, z których każda oblicza wyniki uwagi w ukrytej przestrzeni. Pozwala to modelowi skupić się na różnych aspektach danych.
• Działając w przestrzeni ukrytej, MLA zmniejsza koszt obliczeniowy mechanizmów uwagi, dzięki czemu możliwe jest przetwarzanie dużych zbiorów danych lub długich sekwencji.

Połączenie wielogłowicowej uwagi i ukrytych reprezentacji umożliwia modelowi uchwycenie złożonych wzorców i relacji w danych, co prowadzi do lepszej wydajności w zadaniach takich jak przetwarzanie języka naturalnego, systemy rekomendacji lub analiza danych.

Wariant przewidywania wielu tokenów w DeepSeek

Przewidywanie wielu tokenów to technika stosowana w modelach językowych do przewidywania wielu tokenów (słów lub podsłów) w sekwencji, a nie tylko następnego tokena. Takie podejście może poprawić zdolność modelu do generowania spójnego i kontekstowo dokładnego tekstu, ponieważ zachęca model do uwzględnienia długoterminowych zależności i struktury danych.

Oto jak to działa w DeepSeek:

• Sekwencja wejściowa (np. zdanie lub akapit) jest kodowana przy użyciu architektury opartej na transformatorach, która przechwytuje informacje kontekstowe o każdym tokenie w sekwencji.
• Modele DeepSeek mają wiele głowic wyjściowych, z których każda jest trenowana do przewidywania innego przyszłego tokena.
• Głowica 1 przewiduje następny token. Głowica 2 przewiduje następny token. Głowica 3 przewiduje token o dwie pozycje do przodu.
• W czasie wnioskowania model generuje tekst autoregresyjnie, ale szkolenie z wieloma tokenami zapewnia, że każda prognoza jest oparta na szerszym kontekście, co prowadzi do bardziej spójnego i dokładnego generowania tekstu.

DeepSeek stosuje przewidywanie wielu tokenów, aby poprawić jakość swoich modeli językowych, czyniąc je bardziej skutecznymi w zadaniach takich jak generowanie tekstu, tłumaczenie i podsumowywanie.

Aktualne modele

Dwa najnowsze modele DeepSeek to DeepSeek-V3 wydany w grudniu 2024 roku i DeepSeek-R1 wydany w styczniu 2025 roku.

V3 jest bezpośrednim konkurentem GPT 4o, podczas gdy R1 można porównać do modelu o1 OpenAI:

DeepSeek-V3 to niezawodny wybór do większości codziennych zadań, zdolny do odpowiadania na pytania na dowolny temat. Wyróżnia się naturalnie brzmiącymi rozmowami i kreatywnością. Model ten jest dobry do pisania, tworzenia treści lub odpowiadania na ogólne pytania, na które prawdopodobnie udzielono już wielu odpowiedzi.

DeepSeek-R1, z drugiej strony, wyróżnia się, jeśli chodzi o złożone zadania rozwiązywania problemów, logiki i rozumowania krok po kroku. R1 został zaprojektowany do rozwiązywania trudnych zapytań, które wymagają dogłębnej analizy i ustrukturyzowanych rozwiązań. Model ten świetnie sprawdza się w przypadku wyzwań związanych z kodowaniem i pytań logicznych.

Oba modele mają podobną specyfikację techniczną:

Kluczowa różnica polega na ich szkoleniu. Oto jak DeepSeek-R1 został przeszkolony na V3:

• Dostrajanie na zimno: Zamiast od razu przytłaczać model dużymi ilościami danych, zaczyna on od mniejszego, wysokiej jakości zestawu danych, aby od samego początku dopracować swoje odpowiedzi.
• Uczenie ze wzmocnieniem bez ludzkich etykiet: W przeciwieństwie do V3, DeepSeek-R1 opiera się całkowicie na RL, co oznacza, że uczy się samodzielnie rozumować, a nie tylko naśladować dane treningowe.
• Próbkowanie odrzucenia dla danych syntetycznych: Model generuje wiele odpowiedzi i tylko te o najlepszej jakości są wybierane do dalszego treningu.
• Łączenie danych nadzorowanych i syntetycznych: Dane treningowe łączą najlepsze odpowiedzi wygenerowane przez sztuczną inteligencję z nadzorowanymi, precyzyjnie dostrojonymi danymi z DeepSeek-V3.
• Końcowy proces RL: Ostatnia runda uczenia ze wzmocnieniem zapewnia, że model dobrze uogólnia się na wiele różnych podpowiedzi i może skutecznie rozumować w różnych tematach.

Przyjrzyjmy się teraz niektórym testom porównawczym, aby zobaczyć, jak zarówno V3, jak i R1 wypadają w porównaniu z innymi popularnymi modelami:

AIME 2024 i MATH-500 to testy matematyczne, GPQA Diamond i MMLU to testy wiedzy ogólnej, a Codeforces i SWE-bench Verified to testy kodowania.

Destylowane modele DeepSeek
 

Destylacja w sztucznej inteligencji to proces tworzenia mniejszych, bardziej wydajnych modeli z większych, zachowując większość ich mocy rozumowania przy jednoczesnym zmniejszeniu wymagań obliczeniowych.
 

Wdrożenie V3 i R1 nie jest praktyczne dla każdego, ponieważ wymagają one 8 procesorów graficznych NVIDIA H200 z 141 GB pamięci każdy. Dlatego DeepSeek stworzył 6 destylowanych modeli o zakresie od 1,5 miliarda do 70 miliardów parametrów:

• Zaczęli od sześciu modeli open-source z Llama 3.1/3.3 i Qwen 2.5.
• Następnie wygenerowali 800 000 wysokiej jakości próbek rozumowania przy użyciu R1.
• Na koniec dopracowali mniejsze modele na tych syntetycznych danych rozumowania.

Oto jak te sześć modeli poradziło sobie w kluczowych testach porównawczych, demonstrując swoje umiejętności w matematyce (AIME 2024 i MATH-500), wiedzy ogólnej (GPQA Diamond) i kodowaniu (LiveCode Bench i CodeForces):

Jak można się było spodziewać, wraz ze wzrostem liczby parametrów wyniki ulegały poprawie. Najmniejszy model z 1,5 miliarda parametrów wypadł najgorzej, podczas gdy największy model z 70 miliardami parametrów wypadł najlepiej. Co ciekawe, najbardziej zrównoważony model wygląda jak Qwen-32B, który jest prawie tak dobry jak Llama-70B, chociaż ma o połowę mniej parametrów.

Przyszłość DeepSeek

DeepSeek osiągnął niezwykły sukces w krótkim czasie, zyskując globalne uznanie niemal z dnia na dzień. Wydawało się, że chatbot pojawił się znikąd, ale istnieje ryzyko, że może zniknąć równie szybko. Utrzymanie widoczności marki i zaufania w dłuższej perspektywie jest poważnym wyzwaniem, zwłaszcza na tak wysoce konkurencyjnym rynku. Giganci technologiczni, tacy jak Google i OpenAI, dysponują budżetami znacznie przewyższającymi zasoby finansowe DeepSeek, a także mają przewagę techniczną.

Jedną z głównych przeszkód stojących przed DeepSeek jest luka obliczeniowa. W porównaniu do swoich amerykańskich odpowiedników, DeepSeek działa w znacznie gorszej sytuacji pod względem mocy obliczeniowej. Luka ta jest pogłębiana przez amerykańskie kontrole eksportu zaawansowanych chipów, które ograniczają dostęp DeepSeek do najnowszego sprzętu potrzebnego do opracowywania i wdrażania potężniejszych modeli sztucznej inteligencji.

Podczas gdy DeepSeek wykazał imponującą wydajność w swoich działaniach, dostęp do bardziej zaawansowanych zasobów obliczeniowych mógłby znacznie przyspieszyć jego postępy i wzmocnić jego konkurencyjność w stosunku do firm o większych możliwościach. Wypełnienie tej luki obliczeniowej ma kluczowe znaczenie dla DeepSeek, aby skalować swoje innowacje i stać się silniejszym konkurentem na arenie światowej.

To powiedziawszy, ważne jest, aby nie malować zbyt ponurego obrazu, ponieważ DeepSeek już osiągnął coś niezwykłego. Firma udowodniła, że nawet przy ograniczonych zasobach można stworzyć produkt światowej klasy - coś, co wielu uważało za osiągalne tylko przy miliardowych budżetach i ogromnej infrastrukturze. Sukces DeepSeek prawdopodobnie zainspiruje niezliczoną liczbę innych i jeszcze bardziej przyspieszy i tak już szybki rozwój technologii sztucznej inteligencji.