Масштабная тонкая настройка диффузионных моделей всегда требовала серьёзных инженерных усилий для распределённого обучения. Теперь Hugging Face и NVIDIA объединили свои библиотеки Diffusers и NeMo Automodel: это позволяет дообучать любые модели из Hub на сотнях GPU, не переписывая их код и не конвертируя чекпоинты.
Интеграция Hugging Face Diffusers и NVIDIA NeMo Automodel устраняет ключевые барьеры распределённого обучения. NeMo Automodel — это открытая библиотека для тонкой настройки и претрейна диффузионных моделей в любом масштабе. Она разработана как часть фреймворка NVIDIA NeMo и использует PyTorch DTensor для эффективной работы с данными.
Главные принципы NeMo Automodel — это полная совместимость с Hugging Face и универсальность масштабирования. Теперь можно указать ID любой модели Diffusers из Hugging Face Hub и начать обучение без конвертации чекпоинтов. Библиотека использует классы моделей и пайплайны Diffusers для загрузки и генерации, обеспечивая чистый обратный экспорт.
Масштабирование обучения от одной до сотен GPU стало вопросом конфигурации, а не переписывания кода. Параллелизм (FSDP2, тензорный, экспертный, контекстный, пайплайн) выбирается настройками, а не изменением архитектуры модели. Сейчас NeMo Automodel поддерживает только flow-matching модели, используя обучение в латентном пространстве и бакетинг данных для ускорения пропускной способности.
Интеграция поставляется с готовыми рецептами тонкой настройки для ряда открытых диффузионных моделей. Среди них — Wan 2.1 T2V (1.3B и 14B параметров) для генерации видео по тексту, которая может уместиться на одной GPU A100 с 40 ГБ памяти. Стандартный процесс тонкой настройки включает несколько шагов:
- Подготовка данных — предварительное кодирование датасета.
- Запуск обучения — использование существующего YAML-файла конфигурации (например, для FLUX).
- Генерация — создание контента с помощью дообученного чекпоинта.
Это сотрудничество упрощает разработку для инженеров, использующих диффузионные модели. Не нужно тратить время на адаптацию кода или конвертацию форматов для распределённого обучения, что позволяет быстрее экспериментировать и внедрять новые модели. Поддержка LoRA-рецептов для моделей, таких как Wan 2.1 T2V, делает процесс ещё более гибким и ресурсоэффективным.
Интеграция Hugging Face и NVIDIA открывает инженерам доступ к промышленному масштабированию тонкой настройки диффузионных моделей, снижая порог входа в распределённое обучение. Пока поддержка сосредоточена на flow-matching моделях, но планы по расширению функциональности и добавлению Pythonic recipe APIs указывают на дальнейшее упрощение. Это делает решения доступнее, но пока не для всех типов моделей.