DeepSeek的負擔能力是一個神話：革命性的AI實際上花費了16億美元

DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要參與者，甚至導致NVIDIA的股價大幅下降。它的成功源於一種獨特的建築和培訓方法，結合了幾種創新技術。

多語預測（MTP）：與一次預測一個單詞的傳統模型不同，MTP同時預測了多個單詞，分析了不同的句子零件，以提高準確性和效率。

專家的混合（MOE）：該體系結構利用多個神經網絡來處理輸入數據，加速培訓並增強性能。 DeepSeek V3使用256個網絡，每個令牌都激活了8個網絡。

多頭潛在註意力（MLA）：這種機制著重於關鍵的句子元素，反復從文本片段中提取關鍵細節，以最大程度地減少信息丟失並捕獲細微的細微差別。

DeepSeek最初聲稱使用2048 GPU培訓了其強大的DeepSeek V3神經網絡，僅需600萬美元。但是，半分析顯示出更廣泛的基礎設施：大約50,000個NVIDIA HOPPER GPU，包括10,000 H800，10,000 H100和其他H20，分佈在多個數據中心。這代表了一筆總額約16億美元的服務器投資，運營費用估計為9.44億美元。

高級對沖基金的子公司DeepSeek擁有其數據中心，這與許多依靠雲服務的初創公司不同。這為優化和更快的創新實施提供了更大的控制。該公司的自我資助性質提高了靈活性和決策速度。此外，DeepSeek吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要來自中國大學。

雖然最初的600萬美元培訓成本索賠似乎是不現實的，但僅向預培訓的GPU使用以及排除研究，改進，數據處理和基礎設施 - 深處已經在AI開發方面投資了超過5億美元。與更大的官僚主義公司相比，其緊湊的結構有助於有效的創新實施。

DeepSeek的成功凸顯了資金豐富，獨立的AI公司的競爭潛力。但是，它的成就源於實質性的投資，技術突破和強大的團隊，使“革命預算”聲稱過度簡化。儘管如此，DeepSeek的成本仍大大低於競爭對手。例如，與Chatgpt 4的1億美元相比，其R1型號培訓的成本為500萬美元。但是，它仍然比競爭對手便宜。