Многие ИИ-модели требуют гигантских мощностей и облачных серверов. Cohere Labs показала, что их компактная модель Tiny Aya с 3,35 млрд параметров способна работать локально на 70+ языках, открывая путь для инноваций без привязки к облаку.
Cohere Labs представила открытую модель Tiny Aya. Она поддерживает более 70 языков и весит всего 3,35 млрд параметров, что позволяет ей работать локально на обычных устройствах, включая смартфоны, без облака. Это делает ИИ доступным для разработчиков по всему миру, особенно в регионах с ограниченными ресурсами.
В рамках программы Expedition Tiny Aya модель получила широкое применение. Исследователи и разработчики по всему миру использовали её для создания практических решений:
- Офлайн-помощники для детей — голосовой ИИ-ассистент, работающий без интернета, с особым акцентом на безопасность.
- Образовательные инструменты — проекты, направленные на прозрачное решение математических задач и создание многоязычных датасетов.
- Перевод для редких языков — пайплайны для генерации синтетических данных, позволяющие создавать обучающие наборы для языков с ограниченными ресурсами, таких как хинди и турецкий.
- Ассистенты для документов — системы, помогающие пользователям понимать сложные документы, сохраняя конфиденциальную информацию на устройстве.
- Локальные многоязычные ассистенты — инструмент для выполнения запросов на десятках языков, который работает на смартфонах с использованием 4-битной квантизации.
Эти проекты выявили критические проблемы в оценке многоязычных моделей. Например, поведение ИИ-систем в вопросах безопасности может сильно меняться при смешивании языков в одном запросе (code-mixing) или при кросс-языковом несоответствии. Это подчёркивает необходимость в новых методах оценки, которые выходят за рамки одноязычных бенчмарков. Также исследования показали, что сжатие моделей (квантизация) влияет на разные языки неодинаково, требуя целевой оптимизации для сохранения производительности.
Tiny Aya и программа Expedition демонстрируют, что малые открытые модели могут быть эффективны для глобального охвата, работая локально и без облака. Это опровергает миф о том, что для многоязычного ИИ нужны только гигантские модели. Однако выявленные сложности с оценкой безопасности в смешанных языковых средах показывают, что предстоит ещё много работы над созданием надёжных и культурно-чувствительных многоязычных систем.