DeepSeek AI Development costa $ 1,6 miliardi, mito di debunking economici

Il nuovo chatbot di Deepseek si è presentato con una promessa accattivante: "Ciao, sono stato creato in modo da poter chiedere qualsiasi cosa e ottenere una risposta che potrebbe persino sorprenderti." Questa affermazione incapsula l'essenza di ciò che DeepSeek mira a raggiungere nel mercato dell'IA competitivo, che ha recentemente visto uno dei maggiori calo dei prezzi delle azioni di Nvidia a causa dell'impatto di Deepseek.

Immagine: Ensigame.com

Il modello AI di Deepseek si distingue per la sua architettura e i metodi di formazione innovativi. Ecco le tecnologie chiave che lo differenziano:

Multi-Token Prediction (MTP) : a differenza dei modelli tradizionali che prevedono una parola alla volta, MTP di Deepseek prevede più parole contemporaneamente analizzando diverse parti di una frase. Questo metodo non solo aumenta l'accuratezza, ma migliora anche l'efficienza del modello.

Miscela di esperti (MOE) : DeepSeek V3 impiega un'architettura MOE, utilizzando 256 reti neurali, con otto attivate per ciascuna attività di elaborazione dei token. Questo approccio accelera la formazione dell'IA e migliora significativamente le prestazioni.

Attenzione latente multi-testa (MLA) : MLA si concentra sulle parti più significative di una frase estraendo ripetutamente i dettagli chiave dai frammenti di testo. Ciò riduce la possibilità di perdere informazioni cruciali, consentendo all'IA di catturare efficacemente importanti sfumature.

Nonostante abbia affermato di aver sviluppato un modello di intelligenza artificiale competitivo con un budget minimo di $ 6 milioni per la formazione di Deepseek V3 utilizzando solo 2048 processori grafici, ulteriori indagini rivelano un quadro più complesso.

Immagine: Ensigame.com

Gli analisti della semianalisi hanno scoperto che DeepSeek gestisce una vasta infrastruttura computazionale, comprendente circa 50.000 GPU di nvidia Hopper. Ciò include 10.000 unità H800, altre 10.000 H100 e GPU H20 aggiuntive, diffuse su più data center per la formazione, la ricerca e la modellizzazione finanziaria dell'IA. L'investimento totale nei server è di circa $ 1,6 miliardi, con spese operative stimate in $ 944 milioni.

DeepSeek è una consociata dell'Hedge Fund cinese High-Flyer, che ha lasciato la startup nel 2023 per concentrarsi sulle tecnologie di intelligenza artificiale. A differenza di molte startup che si basano sui fornitori di cloud, DeepSeek possiede i suoi data center, dandogli il pieno controllo sull'ottimizzazione del modello AI e consentendo una rapida innovazione. L'azienda è autofinanziata, il che migliora la sua flessibilità e velocità decisionale.

Immagine: Ensigame.com

DeepSeek attira anche i migliori talenti, con alcuni ricercatori che guadagnano oltre $ 1,3 milioni all'anno, principalmente dalle principali università cinesi. L'affermazione dell'azienda di formare il suo ultimo modello per soli $ 6 milioni sembra irrealistica quando si considera il contesto più ampio. Questa cifra rappresenta solo l'utilizzo della GPU durante il pre-allenamento ed esclude le spese di ricerca, il perfezionamento del modello, l'elaborazione dei dati e i costi complessivi di infrastruttura.

Fin dalla sua istituzione, DeepSeek ha investito oltre $ 500 milioni nello sviluppo dell'IA. La sua struttura compatta consente un'implementazione attiva ed efficace delle innovazioni di intelligenza artificiale, a differenza di aziende più grandi e burocratiche.

Immagine: Ensigame.com

Il viaggio di Deepseek illustra che una società di intelligenza artificiale indipendente ben finanziata può davvero competere con i giganti del settore. Tuttavia, gli esperti notano che il suo successo è dovuto a investimenti sostanziali, scoperte tecniche e un team forte, piuttosto che un "budget rivoluzionario" per lo sviluppo dell'intelligenza artificiale. Nonostante ciò, i costi di Deepseek rimangono significativamente più bassi di quelli dei suoi concorrenti. Ad esempio, mentre DeepSeek ha speso $ 5 milioni in R1, la formazione di Chatgpt4o costa $ 100 milioni.

Tuttavia, è ancora più economico dei suoi concorrenti.