Стоит читать если: вы работаете с многоязычными системами, стримингом, международными встречами или вам важен контекстно-зависимый перевод в реальном времени. Можно пропустить если: ваши задачи не связаны с голосовым или видео-переводом, и достаточно текстовых LLM.
qwen3.5-livetranslate-Flash: От звука к зрению
Alibaba предлагает qwen3.5-livetranslate-Flash для синхронного перевода своих моделей Qwen. Это не просто перевод аудио: модель способна учитывать визуальный контекст, что позволяет ей лучше справляться с неоднозначностями и улучшать точность перевода.
- Новый уровень многоязычности. qwen3.5-livetranslate-Flash увеличивает языковую поддержку. Если предыдущая версия понимала 18 языков для аудиовхода и текстового вывода, то новая работает с 60. Количество языков для аудиовывода увеличилось с 10 до 29. Это увеличивает применимость модели для международных встреч, локализации стримов и онлайн-обучения, охватывая множество кросс-языковых комбинаций.
- Сверхнизкая задержка для живого общения. Модель снижает среднюю задержку речи к речи на токен до 2,8 секунд благодаря технологии Readable Unit. Этот подход обеспечивает быстрый выход текста и речи, сохраняя при этом читаемость и семантическую согласованность перевода. Низкая задержка критична для сценариев, чувствительных ко времени, таких как стримы, совместное ведение мероприятий и пресс-конференции.
- Клонирование голоса в реальном времени. Система автоматически воспроизводит вокальные характеристики говорящего, сохраняя его голос в переведенной речи. Это повышает погружение и согласованность личности, что особенно важно для стримеров, гостей и ведущих. Поддерживается три режима: предварительная регистрация, однократное клонирование и клонирование в реальном времени.
- Улучшенное распознавание терминов. Встроенная функция Hotword улучшает распознавание и перевод имен, мест, названий брендов, моделей продуктов и отраслевой терминологии. Горячие слова могут быть динамически настроены и обновлены в реальном времени, что снижает риск ошибок при переводе специализированных терминов в технических, медицинских или финансовых контекстах.
- Архитектура Thinker-Talker. Модель построена на архитектуре qwen3.5-omni Thinker-Talker. «Мыслитель» (Thinker) принимает чередующиеся визуальные и аудиовходы, генерируя текстовые переводы, а «Говорящий» (Talker) преобразует переведенный текст и исходный аудиопоток в речь с кросс-языковым клонированием голоса. Для синхронного перевода используется потоковый ввод по частям и теги Readable Unit для контроля детализации синтеза речи.
- Практические сценарии использования. Модель может применяться в международных деловых встречах с динамическим переключением языков, для туристов (например, перевод меню в реальном времени с использованием визуального контекста через Qwen AI Glasses), для e-commerce стримов с точным переводом характеристик продуктов, а также для перевода классического китайского языка. Визуальная деамбигуация позволяет модели использовать экранный текст, объекты или контекст сцены для выбора правильного значения слова или фразы.
qwen3: Гибридное мышление и масштабируемость
Alibaba представила qwen3, новое поколение больших языковых моделей с открытым исходным кодом, которое устанавливает новый стандарт в области ИИ с гибридными моделями рассуждений.
- Разнообразие моделей. Серия qwen3 включает шесть плотных моделей (0.6B, 1.7B, 4B, 8B, 14B, 32B параметров) и две модели Mixture-of-Experts (MoE): 30B с 3B активными параметрами и 235B с 22B активными. Все они доступны для использования.
- Режимы «мышления» и «не-мышления». Модели qwen3 могут плавно переключаться между «режимом мышления» для сложных многоступенчатых задач (математика, кодирование, логический вывод) и «режимом не-мышления» для быстрых, универсальных ответов. Разработчики, использующие API, могут детально контролировать продолжительность «мышления» (до 38K токенов) для оптимизации баланса между производительностью и эффективностью.
- Снижение затрат и масштабирование. Модель Qwen3-235B-A22B MoE снижает затраты на развертывание по сравнению с другими современными моделями, обеспечивая высокую производительность.
- Увеличенное обучение и языковая поддержка. qwen3 обучена на массивном наборе данных из 36 триллионов токенов, что вдвое больше, чем у предыдущей Qwen2.5. Модель поддерживает 119 языков и диалектов, показывая высокую производительность в переводе и следовании многоязычным инструкциям.
- Интеграция с агентами. Модель нативно поддерживает Model Context Protocol (MCP) и надежный вызов функций, что позиционирует ее как лидера среди открытых моделей для задач, основанных на агентах.
- Доступность для разработчиков. Модели qwen3 доступны для скачивания на Hugging Face, Github и ModelScope. Их также можно опробовать на chat.qwen.ai. Доступ через API будет вскоре реализован через платформу Alibaba Model Studio. qwen3 уже используется в флагманском приложении AI-суперпомощника Alibaba, Quark.
Что это значит
- Перевод в реальном времени становится умнее и персонализированнее. qwen3.5-livetranslate-Flash демонстрирует тренд к более интегрированным многомодальным решениям, где визуальный контекст и сохранение голоса говорящего становятся стандартом. Для инженеров это означает новые возможности в создании систем для глобальных коммуникаций и стриминга, требующие учета не только звука, но и изображения.
- Гибридные LLM открывают гибкость. Выпуск qwen3 с ее режимами «мышления» и «не-мышления» указывает на растущую потребность в моделях, которые могут адаптироваться к разным вычислительным требованиям и типам задач. Это позволяет разработчикам более точно балансировать между сложностью рассуждений и скоростью ответа, а также эффективно управлять затратами.