Тонкая настройка открытых моделей часто напоминала чёрный ящик, где недели экспериментов и затраты не гарантировали результат. Together AI меняет подход: её обновлённый сервис Fine-Tuning даёт инженерам глубокий контроль и полную прозрачность процесса.
Ключевое нововведение — Expert LoRA для моделей Mixture-of-Experts (MoE). Если стандартные LoRA-адаптеры обучают только слои внимания, оставляя экспертные слои замороженными, то Expert LoRA позволяет применять адаптеры непосредственно к экспертам. Это улучшает усвоение новых знаний: в тестах на 200 выдуманных фактах модели с Expert LoRA вспомнили до 89% новой информации, тогда как обычные LoRA-адаптеры — лишь 15%. Кроме того, Expert LoRA лучше сохраняет уже имеющиеся знания, показав 75.3% на бенчмарке MMLU-Pro против 71.5% для традиционных адаптеров.
Сервис теперь предоставляет живые метрики через API, CLI и UI-панель. Инженеры могут отслеживать прогресс обучения (потери, норму градиента, скорость обучения) и валидации в реальном времени, сравнивать несколько экспериментов на одном графике. Добавлена функция раннего завершения (early stopping): обучение автоматически останавливается, когда валидационная потеря перестаёт улучшаться, сохраняя лучший чекпойнт и возвращая средства за неиспользованное время. Также появилась предварительная валидация данных, которая проверяет JSONL-файлы на ошибки сразу после загрузки, и просмотр токенизированных датасетов, позволяющий увидеть, как данные будут обработаны моделью до начала обучения.
Together AI расширила поддержку новейших открытых моделей, включая GLM 5.3, Kimi K2.7-Code, Qwen 3.8-27B и Gemma 4. Эти модели охватывают задачи от до локальных, с параметрами от 0.8B до 397B. Одновременно с этим вендор снизил цены на обучение LoRA-адаптеров для большинства поддерживаемых моделей. Экономия составляет от 30% до 70% — например, стоимость обучения gpt-oss-20b упала с $1.50 до $0.40 за миллион токенов.
Добавлены новые инструменты для контроля над обработкой данных. Теперь можно задавать веса для отдельных примеров в датасетах, чтобы точно регулировать их влияние на обучение. Улучшен контроль над упаковкой последовательностей (sequence packing), которая по умолчанию включена для оптимизации пропускной способности, но теперь может быть полностью отключена или настроена через position_ids. Также появилась поддержка произвольных размеров батча через накопление градиентов (gradient_accumulation_steps), позволяя обучать с большими эффективными батчами, не завися от лимитов GPU-памяти.
Эти изменения в сервисе тонкой настройки Together AI снижают порог входа для работы с новейшими открытыми моделями и ускоряют и удешевляют цикл экспериментов. Платформа стремится взять на себя большую часть технических сложностей, позволяя инженерам сосредоточиться на данных и результате. Однако заявленные улучшения в Expert LoRA пока основаны на внутренних тестах вендора.