A acessibilidade do Deepseek é um mito: a IA revolucionária realmente custou US $ 1,6 bilhão para se desenvolver

O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Essa IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um participante importante, contribuindo para uma queda significativa no preço das ações da NVIDIA. Seu sucesso decorre de uma metodologia exclusiva de arquitetura e treinamento que incorpora várias tecnologias inovadoras.

Previsão com vários toques (MTP): Ao contrário dos modelos tradicionais que prevêem uma palavra de cada vez, o MTP prevê várias palavras simultaneamente, analisando diferentes peças de sentença para maior precisão e eficiência.

Mistura de especialistas (MOE): Esta arquitetura utiliza várias redes neurais para processar dados de entrada, acelerando o treinamento e aprimorando o desempenho. A Deepseek V3 emprega 256 redes, ativando oito para cada token.

Atenção latente de várias cabeças (MLA): Esse mecanismo se concentra nos elementos cruciais da frase, extraindo repetidamente os principais detalhes dos fragmentos de texto para minimizar a perda de informações e capturar nuances sutis.

A Deepseek alegou inicialmente ter treinado sua poderosa rede neural Deepseek V3 por meros US $ 6 milhões usando 2048 GPUs. No entanto, a semiânica revelou uma infraestrutura muito mais extensa: aproximadamente 50.000 GPUs NVIDIA Hopper, incluindo 10.000 H800s, 10.000 H100s e H20s adicionais, espalhados por vários data centers. Isso representa um investimento total do servidor de aproximadamente US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.

A Deepseek, uma subsidiária do High-Flyer Hedge Fund, possui seus data centers, ao contrário de muitas startups que dependem de serviços em nuvem. Isso fornece maior controle sobre otimização e implementação mais rápida da inovação. A natureza autofinanciada da empresa aumenta a flexibilidade e a velocidade de tomada de decisão. Além disso, a Deepseek atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das universidades chinesas.

Embora a reivindicação inicial de custo de treinamento de US $ 6 milhões pareça irrealista-referindo-se apenas para pré-treinamento de uso da GPU e excluir pesquisas, refinamento, processamento de dados e infraestrutura-a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura compacta facilita a implementação eficiente da inovação em comparação com empresas maiores e mais burocráticas.

O sucesso da Deepseek destaca o potencial competitivo de empresas de IA independentes e bem financiadas. No entanto, suas realizações estão enraizadas em investimentos substanciais, avanços tecnológicos e uma equipe forte, fazendo com que o "orçamento revolucionário" reivindique uma simplificação excessiva. Apesar disso, os custos da Deepseek permanecem significativamente menores que os concorrentes; Por exemplo, seu treinamento de modelo R1 custou US $ 5 milhões, em comparação com os US $ 100 milhões do ChatGPT 4. No entanto, ainda é mais barato que seus concorrentes.