Восстановить способность к общению после тяжёлых травм мозга можно с помощью нейропротезов, но для этого нужны хирургические импланты. Неинвазивные методы до сих пор были менее эффективны. Теперь Meta AI представила Brain2Qwerty v2 — сквозную систему, которая декодирует предложения из мозговой активности в текст с точностью, сопоставимой с хирургическими методами, но без операции.
Brain2Qwerty v2 — это высокопроизводительный сквозной конвейер для декодирования предложений в реальном времени из неинвазивных записей мозговой активности. Система приближается по точности к решениям, требующим хирургического вмешательства, и превосходит предыдущие неинвазивные методы. Для обучения Brain2Qwerty v2 использовались данные от девяти волонтёров, каждый из которых по десять часов носил магнитоэнцефалографический (МЭГ) прибор и набирал текст. Общий объём данных составил около 22 000 предложений.
В отличие от ранних подходов, полагавшихся на ручное создание конвейеров для выявления нейронных событий, Brain2Qwerty v2 использует сквозное глубокое обучение для прямого декодирования из необработанных сигналов мозга. Кроме того, система применяет большие языковые модели (LLM), дообученные на нейронных данных, чтобы использовать семантический контекст. Это помогает преобразовать шумные мозговые записи в связную речь. Для оптимизации конвейера декодирования также применялись ИИ-агенты, а окончательные конфигурации обучения выбирались инженерами вручную.
Результаты показали в точности:
- Точность распознавания слов достигает 61% в среднем.
- Это существенно выше 8%, которые демонстрируют другие неинвазивные методы.
- Для лучшего участника точность составила 78%, при этом более половины всех предложений были декодированы с одной ошибкой или меньше.
- Точность декодирования улучшается лог-линейно с увеличением объёма данных, что указывает на потенциал дальнейшего сокращения разрыва с хирургическими подходами за счёт масштабирования данных.
Meta AI активно делится своими наработками с сообществом. Компания выпустила полный код обучения для Brain2Qwerty v1 и v2. Её партнёр, Баскский центр когнитивной деятельности, мозга и языка (BCBL), также предоставил набор данных v1. Эта работа является частью более широких усилий Meta по созданию открытых фундаментальных моделей мозга, включающих:
- Tribev2 — для кодирования восприятия.
- NeuralSet — для масштабной обработки данных мозга.
- NeuralBench — для систематической оценки моделей.
Meta AI также выделила $5 млн на стимулирование создания открытых наборов данных в рамках своего проекта Digital Brain. Эти инициативы направлены на ускорение нейробиологических исследований и более быструю диагностику и лечение неврологических расстройств.
Brain2Qwerty v2 демонстрирует, что неинвазивные интерфейсы мозг-компьютер могут выйти за рамки лабораторных экспериментов и стать реальным инструментом. Открывая код и данные, Meta AI не только ускоряет исследования в этой области, но и делает возможным массовое внедрение систем, способных вернуть голос миллионам людей, для которых хирургические операции были невозможны или слишком рискованны. Остаётся увидеть, как быстро это приведёт к коммерческим продуктам.