Deepseek AI -ontwikkeling kost $ 1,6 miljard, debunking betaalbaarheid mythe

De nieuwe chatbot van Deepseek stelde zich voor met een boeiende belofte: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs zou verrassen." Deze verklaring omvat de essentie van wat Deepseek wil bereiken in de concurrerende AI -markt, die onlangs een van de grootste aandelenkoers dalen als gevolg van de impact van Deepseek.

Afbeelding: ensigame.com

Het AI -model van Deepseek onderscheidt zich vanwege de innovatieve architectuur- en trainingsmethoden. Hier zijn de belangrijkste technologieën die het onderscheiden:

Multi-Token Prediction (MTP) : in tegenstelling tot traditionele modellen die één woord tegelijk voorspellen, voorspelt Deepseek's MTP meerdere woorden tegelijkertijd door verschillende delen van een zin te analyseren. Deze methode verhoogt niet alleen de nauwkeurigheid, maar verbetert ook de efficiëntie van het model.

Mix van experts (MOE) : Deepseek V3 maakt gebruik van een MOE -architectuur, met behulp van 256 neurale netwerken, met acht geactiveerd voor elke tokenverwerkingstaak. Deze aanpak versnelt AI -training en verbetert de prestaties aanzienlijk.

Multi-head latente aandacht (MLA) : MLA richt zich op de belangrijkste delen van een zin door herhaaldelijk belangrijke details uit tekstfragmenten te extraheren. Dit vermindert de kans op het missen van cruciale informatie, waardoor de AI belangrijke nuances effectief kan vastleggen.

Ondanks het feit dat hij beweert een competitief AI -model te hebben ontwikkeld met een minimaal budget van $ 6 miljoen voor het trainen van Deepseek V3 met behulp van slechts 2048 grafische processors, onthult verder onderzoek een complexer beeld.

Afbeelding: ensigame.com

Analisten van Semianysis ontdekten dat Deepseek een enorme computationele infrastructuur heeft, bestaande uit ongeveer 50.000 Nvidia Hopper GPU's. Dit omvat 10.000 H800 -eenheden, nog eens 10.000 H100's en extra H20 GPU's, verspreid over meerdere datacenters voor AI -training, onderzoek en financiële modellering. De totale investering in servers is ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen.

Deepseek is een dochteronderneming van het Chinese hedgefonds High-Flyer, dat in 2023 de startup afspoont om zich te concentreren op AI-technologieën. In tegenstelling tot veel startups die afhankelijk zijn van cloudproviders, bezit Deepseek zijn datacenters, waardoor het volledige controle heeft over AI -modeloptimalisatie en snelle innovatie mogelijk maakt. Het bedrijf is zelf gefinancierd, wat zijn flexibiliteit en besluitvormingssnelheid verbetert.

Afbeelding: ensigame.com

Deepseek trekt ook toptalent aan, waarbij sommige onderzoekers per jaar meer dan $ 1,3 miljoen verdienen, voornamelijk van toonaangevende Chinese universiteiten. De claim van het bedrijf om zijn nieuwste model voor slechts $ 6 miljoen te trainen, lijkt onrealistisch bij het overwegen van de bredere context. Dit cijfer is alleen rekening gehouden met GPU-gebruik tijdens pre-training en sluit onderzoekskosten, modelverfijning, gegevensverwerking en algemene infrastructuurkosten uit.

Sinds de oprichting heeft Deepseek meer dan $ 500 miljoen geïnvesteerd in AI -ontwikkeling. De compacte structuur maakt een actieve en effectieve implementatie van AI -innovaties mogelijk, in tegenstelling tot grotere, meer bureaucratische bedrijven.

Afbeelding: ensigame.com

De diepte van Deepseek illustreert dat een goed gefinancierd onafhankelijk AI-bedrijf inderdaad kan concurreren met industriële reuzen. Experts merken echter op dat het succes ervan te wijten is aan substantiële investeringen, technische doorbraken en een sterk team, in plaats van een "revolutionair budget" voor AI -ontwikkeling. Desondanks blijven de kosten van Deepseek aanzienlijk lager dan die van zijn concurrenten. Hoewel Deepseek bijvoorbeeld $ 5 miljoen besteedde aan R1, kostte de training van Chatgpt4o $ 100 miljoen.

Het is echter nog steeds goedkoper dan zijn concurrenten.