Стоит читать если: вы используете Cog для разработки и деплоя моделей, работаете с весами из разных источников или зависите от стабильной генерации схемы для API. Можно пропустить если: вы не используете Cog или только потребляете модели через Replicate API.
Новая команда для локального запуска и гибкие источники весов
cog predict теперь cog run — это главное изменение в CLI. Команда, используемая для локального выполнения предсказаний модели, была переименована с cog predict на cog run. Это изменение, по заявлению разработчиков, сделано для лучшего соответствия семантике запуска модели локально, а не только выполнения предсказания. При этом команда cog predict сохранена как полный псевдоним cog run для обеспечения обратной совместимости, чтобы избежать поломки существующих рабочих процессов.
Веса из разных источников, включая HTTPS. Теперь Cog поддерживает загрузку весов моделей не только из предопределенных мест, но и из нескольких источников одновременно, включая прямые HTTPS-ссылки. Это означает, что разработчики могут более гибко управлять тем, откуда их модели получают свои веса, интегрируя их напрямую из хранилищ или CDN. Кроме того, появилась возможность ссылаться на модели по имени (например, r8.im/user/model) вместо указания полных URL-адресов Docker-образов при использовании команд cog push и weights, что упрощает ссылки и повышает читаемость.
Улучшения в генерации схемы и процессе сборки
Статическая генерация схемы без компромиссов. В Cog v0.20.0 полностью удалена устаревшая генерация схемы Python во время выполнения. Теперь Cog полагается исключительно на статическую генерацию схемы, что делает её более надежной и предсказуемой. Для тех случаев, когда нужно исключить определённые поля из генерируемой схемы предикторов, введена аннотация Opaque. Это даёт разработчикам больший контроль над тем, как их модели представляются через API.
Улучшения в процессе сборки Docker-образов. Обновление приносит несколько улучшений в механизм сборки Cog. Состояние сборки теперь хранится в выделенной директории .cog/, которая автоматически исключается из контекста сборки Docker. Это предотвращает случайное включение временных файлов в финальный образ. Также, сборки базовых образов теперь поддерживают постоянный контекст сборки, что способствует лучшему кэшированию и повышает надежность. Кроме того, сгенерированные Docker-файлы теперь корректно обрабатывают установки Python, управляемые uv.
Детерминированное разрешение зависимостей PyTorch. При разрешении совместимости с PyTorch Cog теперь выбирает последнюю доступную версию патча для неуказанных версий, а матрицы совместимости отсортированы для обеспечения согласованного и детерминированного вывода. Это уменьшает вероятность неожиданных изменений в зависимостях и упрощает отладку.
Что это значит
Больше контроля, меньше магии. Обновление Cog до v0.20.0 — это шаг в сторону большей предсказуемости и гибкости для инженеров, работающих с моделями в продакшене. Возможность брать веса откуда угодно и контролировать схему API напрямую из кода снижает «магию» и даёт разработчику больше рычагов. Это означает меньше неожиданностей при развертывании и более простой процесс итерации на моделях, где источники весов могут меняться или требовать специфических конфигураций.