В авиации давно известно: самолёт приносит доход только в воздухе, а на земле — одни убытки. Hugging Face, через свой исследовательский отдел Dharma-AI, проводит прямую параллель: простаивающие GPU стали главным ограничителем и источником потерь в корпоративном AI.
Dharma-AI утверждает, что GPU генерируют расходы (финансирование, амортизация, электричество, охлаждение) 24/7, но приносят пользу только во время активной работы. Низкая утилизация напрямую снижает отдачу от инвестиций, подобно тому, как простаивающий самолёт приносит убытки.
Если раньше гонка в AI была за качеством и размером моделей (параметры, бенчмарки), то теперь, когда модели достаточно хороши, узкое место переместилось на вычислительные ресурсы. Доступ к GPU стал стратегическим ограничением даже для крупнейших игроков, и их эффективное использование выходит на первый план.
Высокая утилизация достигается не только за счёт оркестрации, но и через специализацию моделей. Предыдущие исследования Dharma-AI показали, что специализированные модели с 3 млрд параметров могут превосходить более крупные универсальные API по качеству. Это достигается при 50-кратном снижении стоимости, что позволяет более эффективно использовать доступные GPU для конкретных задач.
Hugging Face через Dharma-AI утверждает, что будущее прикладного AI не за гигантскими моделями, а за умной специализацией и эффективным использованием имеющихся ресурсов. Однако в блоге не представлены конкретные инструменты или методологии от Hugging Face/Dharma-AI для достижения заявленной высокой утилизации GPU.