Развёртывание больших языковых моделей на продакшене требует не только GPU, но и сложного ПО для эффективного инференса. DeepSeek сделала шаг к демократизации этих технологий, открыв исходный код своего внутреннего фреймворка DeepInfer.
DeepInfer — это высокопроизводительный фреймворк, который DeepSeek использует для масштабирования своей модели DeepSeek-V4.1-Flash. Его цель — обеспечить высокую пропускную способность и низкую задержку, снижая вычислительные затраты и энергопотребление.
Фреймворк включает оптимизированные ядра, runtime для моделей и семплеров, а также различные методы параллелизма, такие как Attention DP и MoE EP. В нём реализованы функции вроде DSpark и SWA bounded replay. DeepInfer поддерживает аппаратное обеспечение от NVIDIA и Huawei (Ascend).
Хотя DeepInfer предоставляет основные функции для масштабного обслуживания, текущий публичный релиз ориентирован на офлайн-инференс. Для создания полноценной хостинговой платформы операторам потребуется дорабатывать сервисные компоненты, которые DeepSeek использует для своих облачных решений.
Сообщество активно отреагировало на релиз: уже появились запросы на добавление поддержки Windows HIP, кэша на хост-памяти, сервера, совместимого с OpenAI, а также инструментов для Ascend 910C и других платформ.
Открытие DeepInfer даёт инженерам уникальную возможность изучить и адаптировать продакшн-решения DeepSeek для своих задач, особенно в части оптимизации затрат. Однако вендор не предоставил конкретных бенчмарков, подтверждающих универсальное преимущество в скорости или снижение стоимости по сравнению с другими фреймворками.