Deepseek IA Development coûte 1,6 milliard de dollars, démystifiant le mythe

Le nouveau chatbot de Deepseek s'est présenté avec une promesse captivante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette déclaration résume l'essence de ce que Deepseek vise à réaliser sur le marché de l'IA compétitif, qui a récemment vu l'une des plus grandes baisses de cours de l'action de Nvidia en raison de l'impact de Deepseek.

Image: esigame.com

Le modèle d'IA de Deepseek se démarque en raison de son architecture innovante et de ses méthodes de formation. Voici les technologies clés qui le différencient:

Prédiction multi-token (MTP) : Contrairement aux modèles traditionnels qui prédisent un mot à la fois, le MTP de Deepseek prévoit plusieurs mots simultanément en analysant différentes parties d'une phrase. Cette méthode augmente non seulement la précision, mais améliore également l'efficacité du modèle.

Mélange d'experts (MOE) : Deepseek V3 utilise une architecture MOE, utilisant 256 réseaux de neurones, avec huit activés pour chaque tâche de traitement de jeton. Cette approche accélère la formation d'IA et améliore considérablement les performances.

Attention latente multi-tête (MLA) : MLA se concentre sur les parties les plus importantes d'une phrase en extrait à plusieurs reprises les détails clés des fragments de texte. Cela réduit les chances de manquer des informations cruciales, permettant à l'IA de capturer efficacement les nuances importantes.

Bien qu'il ait prétendu avoir développé un modèle d'IA compétitif avec un budget minimal de 6 millions de dollars pour la formation Deepseek V3 en utilisant seulement 2048 processeurs graphiques, une enquête plus approfondie révèle une image plus complexe.

Image: esigame.com

Les analystes de semianalyse ont découvert que Deepseek exploite une vaste infrastructure informatique, comprenant environ 50 000 GPU Nvidia Hopper. Cela comprend 10 000 unités H800, 10 000 autres H100 et des GPU H20 supplémentaires, répartis dans plusieurs centres de données pour la formation, la recherche et la modélisation financière de l'IA. L'investissement total dans les serveurs est d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.

Deepseek est une filiale du High Flyer chinois, qui a détruit la startup en 2023 pour se concentrer sur les technologies de l'IA. Contrairement à de nombreuses startups qui reposent sur les fournisseurs de cloud, Deepseek possède ses centres de données, ce qui lui donne un contrôle total sur l'optimisation du modèle d'IA et permet une innovation rapide. L'entreprise est autofinancée, ce qui améliore sa flexibilité et sa vitesse de prise de décision.

Image: esigame.com

Deepseek attire également les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des principales universités chinoises. La prétention de la société de formation de son dernier modèle pour seulement 6 millions de dollars semble irréaliste si l'on considère le contexte plus large. Ce chiffre ne représente que l'utilisation du GPU pendant la pré-formation et exclut les dépenses de recherche, le raffinement du modèle, le traitement des données et les coûts globaux des infrastructures.

Depuis sa création, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure compacte permet une mise en œuvre active et efficace des innovations d'IA, contrairement aux entreprises plus grandes et plus bureaucratiques.

Image: esigame.com

Le voyage de Deepseek montre qu'une entreprise d'IA indépendante bien financée peut en effet rivaliser avec les géants de l'industrie. Cependant, les experts notent que son succès est dû à des investissements substantiels, à des percées techniques et à une équipe solide, plutôt qu'à un "budget révolutionnaire" pour le développement de l'IA. Malgré cela, les coûts de Deepseek restent nettement inférieurs à ceux de ses concurrents. Par exemple, alors que Deepseek a dépensé 5 millions de dollars pour R1, la formation de Chatgpt4o a coûté 100 millions de dollars.

Cependant, il est encore moins cher que ses concurrents.