Deepseek AI Development kosztuje 1,6 miliarda dolarów, obalając mit przystępności cenowej

Nowy chatbot z Deepseek przedstawił się z urzekającą obietnicą: „Cześć, zostałem stworzony, abyś mógł zapytać o wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. To stwierdzenie zawiera istotę tego, co Deepseek ma osiągnąć na konkurencyjnym rynku AI, który ostatnio odnotowano jeden z największych spadków cen akcji NVIDIA z powodu wpływu Deepseek.

Zdjęcie: engame.com

Model AI Deepseek wyróżnia się ze względu na innowacyjną architekturę i metody szkolenia. Oto kluczowe technologie, które go różnicują:

Prognozowanie wielofunkcyjne (MTP) : W przeciwieństwie do tradycyjnych modeli, które przewidują jedno słowo na raz, MTP Deepseek prognozuje wiele słów jednocześnie poprzez analizę różnych części zdania. Ta metoda nie tylko zwiększa dokładność, ale także zwiększa wydajność modelu.

Mieszanka ekspertów (MOE) : DeepSeek V3 wykorzystuje architekturę MoE, wykorzystując 256 sieci neuronowych, z ośmioma aktywowanymi dla każdego zadania przetwarzania tokenu. Takie podejście przyspiesza szkolenie AI i znacznie poprawia wydajność.

Utrzymująca uwaga wielowłócona (MLA) : MLA koncentruje się na najważniejszych częściach zdania poprzez wielokrotne wyodrębnienie kluczowych szczegółów z fragmentów tekstu. Zmniejsza to szansę na brak kluczowych informacji, umożliwiając AI skuteczne uchwycenie ważnych niuansów.

Pomimo twierdzenia, że ​​opracował konkurencyjny model sztucznej inteligencji z minimalnym budżetem 6 milionów dolarów na szkolenie Deepseek V3 przy użyciu zaledwie 2048 procesorów graficznych, dalsze badania ujawniają bardziej złożony obraz.

Zdjęcie: engame.com

Analitycy z Semianalysis odkryli, że Deepseek prowadzi rozległą infrastrukturę obliczeniową, obejmującą około 50 000 GPU Nvidia Hopper. Obejmuje to 10 000 jednostek H800, kolejne 10 000 H100S i dodatkowe GPU H20, rozprzestrzeniane w wielu centrach danych na szkolenie AI, badania i modelowanie finansowe. Całkowita inwestycja w serwerach wynosi około 1,6 miliarda USD, a wydatki operacyjne szacowane są na 944 mln USD.

Deepseek jest spółką zależną chińskiego funduszu hedgingowego High-Flyer, która odciągnęła startup w 2023 r., Aby skupić się na technologiach AI. W przeciwieństwie do wielu startupów, które opierają się na dostawcach chmur, Deepseek jest właścicielem centrów danych, zapewniając pełną kontrolę nad optymalizacją modelu AI i umożliwiając szybkie innowacje. Firma jest finansowana, co zwiększa elastyczność i szybkość podejmowania decyzji.

Zdjęcie: engame.com

Deepseek przyciąga również najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z wiodących chińskich uniwersytetów. Roszczenie firmy o szkolenie jej najnowszego modelu za jedyne 6 milionów dolarów wydaje się nierealne, biorąc pod uwagę szerszy kontekst. Liczba ta uwzględnia tylko użycie GPU podczas wstępnego treningu i wyklucza wydatki badawcze, udoskonalanie modelu, przetwarzanie danych i ogólne koszty infrastruktury.

Od samego początku Deepseek zainwestował ponad 500 milionów dolarów w rozwój AI. Jego kompaktowa struktura pozwala na aktywne i skuteczne wdrożenie innowacji AI, w przeciwieństwie do większych, bardziej biurokratycznych firm.

Zdjęcie: engame.com

Podróż Deepseek ilustruje, że dobrze finansowana niezależna firma AI może rzeczywiście konkurować z gigantami branżowymi. Jednak eksperci zauważają, że jego sukces wynika z znacznych inwestycji, przełomów technicznych i silnego zespołu, a nie „rewolucyjnego budżetu” na rozwój AI. Mimo to koszty Deepseek pozostają znacznie niższe niż koszty jego konkurentów. Na przykład, podczas gdy Deepseek wydał 5 milionów dolarów na R1, szkolenie Chatgpt4o kosztowało 100 milionów dolarów.

Jest jednak nadal tańszy niż jego konkurenci.