Размер имеет значение: почему будущее ИИ решают не коды, а дата-центры и видеокарты. Источник: AI
Пока маркетологи крупных техгигантов рассказывают об «уникальных архитектурах» и «магических алгоритмах», ученые из Массачусетского технологического института (MIT) решили сосчитать все на калькуляторе. Оказалось, что успех в мире больших языковых моделей – это не столько о гениальности кода, сколько о количестве сожженного электричества и закупленных чипов.
Исследователи проанализировали 809 моделей, выпущенных с октября 2022 года по март 2025 года. Результат оказался несколько унизительным для верующих в победу чистого интеллекта над железом. Около 80–90% прогресса, наблюдаемого на переднем крае искусственного интеллекта, обеспечивается исключительно масштабом вычислений. Проще говоря, если вы хотите умнее ИИ, вам просто нужно больше видеокарт NVIDIA и огромные дата-центры.
Масштаб против интеллекта
За последние три года объем вычислений, затрачиваемых на обучение флагманских моделей, вырос в 5000 раз. Это астрономическая цифра, объясняющая, почему порог входа в «высшую лигу» ИИ стал практически недостижимым для стартапов без миллиардных инвестиций. Специалисты MIT FutureTech выделили четыре фактора влияния на развитие систем: вычислительные ресурсы, общие алгоритмические достижения, фирменный инженеринг и индивидуальные особенности архитектуры.
Вычисления против интеллекта: что на самом деле определяет успех больших речевых моделей. Иллюстрация: AI
Где прячутся 14 процентов?
Вклад тех же «секретных соусов» — уникальных инженерных решений конкретных компаний — оценивается только в 14–18%. Это значит, что даже если ваши программисты лучшие в мире, они не смогут компенсировать значительную нехватку вычислительной мощности. Однако есть и хорошие новости: общие алгоритмические улучшения, доступные на всем рынке, позволили повысить эффективность обучения в 7.5 раза. Это особенно заметно на небольших моделях, которые становятся все умнее, не требуя бюджета небольшой страны.
Пропасть между игроками
Интересно, что эффективность использования ресурсов у разных разработчиков отличается кардинально. Некоторые команды умудрялись достигать тех же результатов, используя в 61 раз меньше вычислений, чем их менее сообразительные конкуренты. Это намекает на то, что «брутальная сила» — самый надежный путь, но далеко не единственный для тех, кто умеет оптимизировать процессы. Однако в обозримом будущем именно доступ к современным дата-центрам станет определяющим фактором в гонке вооружений.
Пока гиганты соперничают в объемах вычислений, некоторые разработчики ищут обходные пути. В частности, китайский ШИ-штурм и инструмент OpenClaw демонстрируют, как локальные решения становятся альтернативой глобальным платформам.