L'abordabilité de Deepseek est un mythe: l'IA révolutionnaire a coûté 1,6 milliard de dollars pour développer

Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur, contribuant même à une baisse significative du cours des actions de Nvidia. Son succès provient d'une méthodologie d'architecture et de formation unique incorporant plusieurs technologies innovantes.

Prédiction multi-token (MTP): Contrairement aux modèles traditionnels prédisant un mot à la fois, MTP prédit simultanément plusieurs mots, analysant différentes parties de phrase pour une précision et une efficacité améliorées.

Mélange d'experts (MOE): Cette architecture utilise plusieurs réseaux de neurones pour traiter les données d'entrée, accélérer la formation et améliorer les performances. Deepseek V3 emploie 256 réseaux, activant huit pour chaque jeton.

Attention latente multi-tête (MLA): Ce mécanisme se concentre sur les éléments cruciaux des phrases, extrait à plusieurs reprises les détails clés des fragments de texte pour minimiser la perte d'informations et capturer des nuances subtiles.

Deepseek a initialement affirmé avoir formé son puissant réseau neuronal Deepseek V3 pour seulement 6 millions de dollars en utilisant 2048 GPU. Cependant, la semianalyse a révélé une infrastructure beaucoup plus étendue: environ 50 000 GPU de trémie NVIDIA, dont 10 000 H800, 10 000 H100 et H20S supplémentaires, répartis sur plusieurs centres de données. Cela représente un investissement total de serveur d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.

Deepseek, une filiale du hedge fund de haut vol, possède ses centres de données, contrairement à de nombreuses startups qui s'appuient sur les services cloud. Cela fournit un plus grand contrôle sur l'optimisation et la mise en œuvre plus rapide de l'innovation. La nature autofinancée de l'entreprise améliore la flexibilité et la vitesse de prise de décision. En outre, Deepseek attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

Bien que la réclamation de coût de formation initiale de 6 millions de dollars semble irréaliste - ne fermant qu'à l'utilisation du GPU avant la formation et à l'exclusion des recherches, du raffinement, du traitement des données et des infrastructures - Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure compacte facilite une mise en œuvre efficace de l'innovation par rapport aux entreprises plus bureaucratiques plus bureaucratiques.

Le succès de Deepseek met en évidence le potentiel compétitif des sociétés d'IA indépendantes bien financées. Cependant, ses réalisations sont enracinées dans des investissements substantiels, des percées technologiques et une équipe solide, faisant du "budget révolutionnaire" une simplification excessive. Malgré cela, les coûts de Deepseek restent nettement inférieurs à ceux des concurrents; Par exemple, sa formation de modèle R1 a coûté 5 millions de dollars, par rapport aux 100 millions de dollars de Chatgpt 4. Cependant, il est encore moins cher que ses concurrents.