Генерация изображения в модели Ideogram v4 на Replicate обычно занимает секунды, но fal сократила это время до 0.44 секунды для разрешения 1K. Это 6-кратное ускорение достигнуто без видимой потери качества.
fal ускорила обработку изображений Ideogram v4 в 6 раз, сократив время генерации для разрешения 1K с 2.75 до 0.44 секунды. При этом качество картинки не пострадало. fal объясняет: стоимость картинки — это произведение числа проходов диффузионного трансформера и затрат на каждый такой проход.
Чтобы сделать каждый проход дешевле, fal оптимизировала трансформер на уровне железа и операций:
- FP4 — диффузионный трансформер теперь работает в 4-битном формате с плавающей точкой (NVFP4). Это снижает нагрузку на память и ускоряет вычисления, особенно на чипах Blackwell с аппаратной поддержкой.
- Слияние ядер (Epilogue fusion) — мелкие операции (RMSNorm, gated-SiLU), следующие за матричными умножениями (GEMM), теперь встраиваются в сам GEMM. Это устраняет обращения к высокоскоростной памяти (HBM), ускоряя обработку.
Второй подход — сокращение числа проходов без потери качества:
- Дистилляция с учётом квантования — компенсировала потерю качества от 4-битных вычислений.
- Дистилляция по временным шагам — сократила число шагов денойзинга.
- Дистилляция guidance — объединила две ветви guidance в одну, снизив нагрузку.
Такие оптимизации важны, поскольку скорость генерации напрямую влияет на стоимость и пользовательский опыт. Например, на платформе Replicate модель Ideogram 4.0 имеет варианты, где скорость и качество влияют на цену: самый быстрый Turbo стоит $0.03 за изображение, Balanced — $0.06, а Quality — $0.10. Другие вендоры, такие как Hugging Face и Baseten, также ускоряют генерацию изображений, например для SDXL, с помощью NVIDIA TensorRT.
fal продемонстрировала: радикальное ускорение генерации изображений достигается глубокой системной инженерией. Сочетание низкоуровневых аппаратных оптимизаций (FP4, слияние ядер) с высокоуровневыми алгоритмами (дистилляция) даёт рекордную скорость без потери качества. Это означает, что дальнейший прогресс в генерации изображений будет зависеть не только от размера моделей, но и от эффективности их реализации.