Голосовые ассистенты давно стали нормой, но для 70 миллионов глухих и слабослышащих людей, использующих жестовые языки, ИИ-перевод оставался недоступным. Google DeepMind представила модель SL2T, которая впервые выводит перевод жестового языка в текст за пределы лабораторий, прямо на смартфоны Pixel 11.
Для глухих и слабослышащих сообществ жестовые языки — это полноценные естественные языки со своей грамматикой и лексикой. В отличие от голосового ввода, который обычно сводится к транскрипции, перевод жестового языка требует полноценной машинной трансляции. Это сложная задача, требующая от ИИ не только понимания языка, но и точного компьютерного зрения для отслеживания одновременных движений рук, тела, головы и лица. Ранние попытки, например, с перчатками, были ограничены, так как не учитывали всю сложность языка.
Модель SL2T разработана с учётом культурных особенностей и обучена на более чем 100 000 часов данных по 50+ жестовым языкам. Совместное обучение на разных языках и диалектах позволило ей выявить общие структуры и превзойти одноязычные модели. Для защиты приватности SL2T не использует видеопоток напрямую: встроенная в устройство модель MediaPipe Holistic отслеживает ключевые точки движения на теле пользователя. На сервер для перевода отправляются только эти геометрические координаты, а исходное видео сразу удаляется. Перевод текста происходит напрямую из последовательности координат, минуя промежуточные "грифы" (glosses), которые ограничивали ранние решения.
По данным бенчмарка FLEURS-ASL (sd-test), SL2T показывает рекордное качество перевода ASL в английский, достигая 70 BLEURT. Разработчики также уделили внимание практическим аспектам: снижению задержки, предотвращению галлюцинаций при отсутствии жестового ввода, обеспечению корректной работы для левшей (10% пользователей) и улучшению распознавания при вводе одной рукой, когда вторая занята телефоном.
Запуск ASL — это только начало. Google DeepMind планирует расширить технологию на другие жестовые языки, а также внедрить генерацию жестового языка и другие возможности ИИ. Разработка ведётся в тесном сотрудничестве с сообществами глухих, в том числе через консультативный комитет AISLAC и публичные отчёты о возможностях и ограничениях технологии. SL2T уже доступна на Pixel 11 через Gboard и Live Transcribe, скоро появится на других устройствах и будет бесплатной.
Модель SL2T от Google DeepMind действительно устраняет большой пробел в доступности ИИ, впервые предлагая полноценный перевод жестового языка в текст для массовых устройств. Подход, который рассматривает жестовые языки как самостоятельные, и акцент на приватности через анализ точек движения, задают новый стандарт. Однако пока это только ASL на английский для Pixel 11, и предстоит увидеть, как быстро и качественно расширение охватит другие языки и устройства.