- Детально описывайте сцену. Вместо «автомобильная погоня» пишите «высокоскоростная ночная погоня по залитым дождём улиц Токио, неоновые отражения на мокром асфальте, фары прорезают туман».
- Описывайте не только визуал, но и аудио. Поскольку модель генерирует звук нативно, включение описаний звуков (например, «рёв двух турбовентиляторных двигателей и металлический удар катапульты») помогает модели создать именно то, что нужно.
- Используйте маркеры качества «hyper-realistic, 8k» для достижения максимально детализированного вывода.
- Описывайте положение камеры. Фразы вроде «камера установлена на капоте ведущей машины» или «камера на уровне земли» помогают модели построить более убедительный кадр.
- Комбинируйте типы референсов (изображения, видео, аудио) для максимального контроля над стилем, движением и ритмом.
Использование референсов позволяет точно настроить результат. Seedance 2.0 может принимать до 9 изображений, 3 видеоклипов и 3 аудиофайлов одновременно с текстовым описанием. Это даёт возможность, например, взять композицию из фотографии, движение камеры из видеоклипа, а ритм — из аудиодорожки, и затем описать, как всё это взаимодействует. Такой подход упрощает поддержание стилистической консистентности между кадрами и персонажами, что ранее требовало дней работы видеоредактора или сложных пайплайнов из нескольких моделей.
Модель способна к многокадровой генерации с планированием движения камеры. Seedance 2.0 может создавать до 15 секунд видео с автоматически спланированными переходами, панорамированиями и приближениями, основываясь на вашем описании. Возможность покадрового управления по тайм-коду позволяет точно задавать каждый отдельный план в рамках одной 15-секундной генерации. Например, можно задать: [0-4s]: широкий план, статичная камера, [4-9s]: средний план, медленное приближение, [9-15s]: крупный план, орбитальный облет. Это обеспечивает чёткую структуру, например, классическую последовательность от широкого к крупному плану, и предотвращает «галлюцинации» модели даже при очень плотной и специфичной информации в промпте.
Аудио и видео генерируются из единой архитектуры. Это означает, что звук и изображение синхронизированы с точностью до миллисекунды. Seedance 2.0 поддерживает двухканальное стерео с несколькими слоями звука, что позволяет получить сложный микс фоновой музыки, окружающих звуковых эффектов и голоса персонажей. Каждый инструмент или реплика диалога синхронизируются с движениями персонажей и артикуляцией, обеспечивая реалистичное звучание.
Seedance 2.0 умеет обрабатывать сложную физику в кадре. Модель реалистично воспроизводит взаимодействия объектов, например, движение транспортного средства по неровной поверхности с правильным покачиванием или точную динамику жидкости даже в стилизованном рендере (как в случае с масляной живописью). Это снимает проблему артефактов, которые были распространены в предыдущих моделях видеогенерации при сложных движениях.
Также за день
Выпущен Cog v0.18.0 — обновлена утилита для упаковки ML-моделей в стандартные контейнеры. Основное изменение: команда cog run теперь переименована в cog exec, хотя старый псевдоним пока работает с предупреждением о прекращении поддержки. В этом релизе также исправлена ошибка, из-за которой асинхронные async def setup() не выполнялись в предыдущих версиях, и улучшена обработка типов ввода dict и list[dict]. Внесены многочисленные исправления ошибок в метриках coglet и добавлена возможность валидации имён метрик.
Что это значит
Для инженеров, работающих с видеогенерацией, Seedance 2.0 представляет более точный и контролируемый инструмент, способный сократить время на постобработку и обеспечить высокий уровень реализма, особенно в сценах с комплексной физикой и сложным аудиодизайном. Возможность использования множественных референсов и тайм-кодированных промптов позволяет создавать контент, который раньше требовал бы традиционных методов производства или сложных многоэтапных пайплайнов из нескольких моделей. Это открывает путь к созданию более сложных и кинематографичных видеороликов напрямую из промпта.
Управление расходами и лимиты
Работа с Replicate строится на предоплаченной кредитной системе. Для использования платформы необходимо приобрести кредит, который будет списываться по мере потребления. Для избежания отключения из-за низкого баланса можно настроить автопополнение: когда баланс опускается ниже определённого порога (минимум $5), система автоматически пополняет его до заданной суммы (минимум $15). Покупной кредит действителен в течение 1 года и не подлежит возврату. Если баланс достигнет нуля, новые операции будут остановлены, а запущенная инфраструктура — отключена. В редких случаях превышения баланса Replicate автоматически спишет остаток средств в конце месяца.
Платформа устанавливает лимиты на количество API-запросов. Для создания предсказаний (create predictions) действует ограничение в 600 запросов в минуту, для всех остальных операций — 3000 запросов в минуту. Временные кратковременные всплески активности выше лимитов допускаются. Однако, при приближении к исчерпанию кредита или при работе с предоставленным кредитом без привязанного метода оплаты, лимиты ужесточаются: до 1 запроса в секунду с максимумом 6 запросов в минуту. Для получения более высоких лимитов можно обратиться в поддержку Replicate. При достижении лимита API возвращает статус 429 с сообщением о регулировании запросов.