Обычно сквозной перевод речи в речь требует сложных мультимодальных моделей, обученных на больших корпусах речевых данных. Cohere Labs представила новый подход, который использует исключительно текстовую модель TinyAya для начальной генерации аудио. Этот метод позволяет переводить речь между турецким и хинди, демонстрируя потенциал для низкоресурсных языков.
Cohere Labs опубликовала в блоге детали новой системы сквозного перевода речи в речь, работающей в обе стороны между турецким и хинди. Ключевая особенность подхода — использование многоязычной текстовой модели TinyAya для «запуска» процесса генерации аудио. Это снижает зависимость от обширных коллекций параллельных речевых данных, которые часто отсутствуют для менее распространённых языков.
Модель TinyAya — это исследовательская разработка Cohere Labs с открытыми весами, насчитывающая 3.35 миллиарда параметров. Она оптимизирована для сбалансированного и эффективного представления более чем 70 языков, многие из которых считаются низкоресурсными. Модель предназначена для дальнейшей адаптации, тонкой настройки и развертывания, включая локальное. TinyAya является частью семейства моделей Aya, куда также входят Aya 101 (поддерживает 101 язык) и Aya 23 (доступна в версиях 8B и 35B параметров).
Этот метод открывает возможности для создания более доступных и эффективных мультимодальных систем перевода. Использование текстовой модели для генерации аудио упрощает разработку и может ускорить внедрение перевода для языков, которым традиционно уделяется меньше внимания из-за нехватки обучающих данных.
Подход Cohere Labs показывает, как можно снизить барьер для создания мультимодальных систем перевода, особенно для языков с ограниченными ресурсами. Использование текстовой модели для аудиогенерации может удешевить и ускорить разработку, но пока это лишь демонстрация метода, а не готовое коммерческое решение.