Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал крупным игроком, даже способствуя значительному падению цены акций Nvidia. Его успех проистекает из уникальной методологии архитектуры и обучения, включающей несколько инновационных технологий.

Multi-Token Production (MTP): в отличие от традиционных моделей, прогнозирующих по одному слову за раз, MTP предсказывает несколько слов одновременно, анализируя различные части предложения для повышения точности и эффективности.

Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей для обработки входных данных, ускорения обучения и повышения производительности. DeepSeek V3 использует 256 сети, активируя восемь для каждого токена.

Многопогодное скрытое внимание (MLA): этот механизм фокусируется на важных элементах предложения, неоднократно извлекая ключевые детали из фрагментов текста, чтобы минимизировать потерю информации и захватить тонкие нюансы.

Первоначально DeepSeek утверждал, что обучил свою мощную нейронную сеть Deepseek V3 всего за 6 миллионов долларов, используя 2048 графических процессоров. Тем не менее, полуанализ выявил гораздо более обширную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia, в том числе 10 000 H800, 10 000 H100 и дополнительных H20, распространяющихся по нескольким центрам обработки данных. Это составляет общие инвестиции в сервер в размере примерно 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.

Deepseek, дочерняя компания Хедж-фонда с высоким содержанием флешек, владеет своими центрами обработки данных, в отличие от многих стартапов, полагающихся на облачные сервисы. Это обеспечивает больший контроль над оптимизацией и более высокой инновационной реализацией. Самофинансируемая природа компании повышает гибкость и скорость принятия решений. Кроме того, Deepseek привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Хотя первоначальная претензия в размере 6 миллионов долларов США кажется нереалистичным, что только для обучения использования графического процессора и исключения исследований, уточнения, обработки данных и инфраструктуры-Deepseek инвестировала более 500 миллионов долларов в разработку искусственного интеллекта. Его компактная структура облегчает эффективную инновационную реализацию по сравнению с более крупными, более бюрократическими компаниями.

Успех DeepSeek подчеркивает конкурентный потенциал хорошо финансируемых, независимых компаний искусственного интеллекта. Тем не менее, его достижения основаны на существенных инвестициях, технологических прорывах и сильной команде, что делает «революционный бюджет» претендовать на упрощение. Несмотря на это, затраты DeepSeek остаются значительно ниже, чем конкуренты; Например, его обучение модели R1 стоило 5 миллионов долларов по сравнению с CHATGPT 4 миллионами долларов. Тем не менее, это все еще дешевле, чем его конкуренты.