Сообщество ИИ одержимо максимизацией бенчмарков, но, по мнению Cohere Labs, этот путь заводит в тупик. Компания призывает вернуть в фокус лингвистику и предлагает открытый вызов, который проверит истинные способности моделей к рассуждению, а не их умение запоминать.
Cohere Labs открыто заявила: «Нам надоело бенчмарк-максимизирование. Возвращаем лингвистику». Этот призыв сопровождается предложением присоединиться к открытому соревнованию IOL-AI 2026. Цель — создать бенчмарк, который нельзя «зазубрить», и заставить системы ИИ демонстрировать истинное понимание языка и логику.
Вызов IOL-AI 2026 построен на задачах Международной лингвистической олимпиады. Моделям дают несколько строк незнакомого языка и просят вывести остальное, используя только логику. Это тест на рассуждение, а не на запоминание фактов. Основные принципы вызова:
- Только первые принципы — никакой язык нельзя «подсмотреть», все ответы выводятся из данных задачи.
- Сопоставимость с человеком — те же задачи, баллы и система оценки, что и для участников олимпиады.
- Открытость и воспроизводимость — решения публикуются в Hugging Face, и их может проверить любой желающий.
Позиция Cohere Labs подкреплена собственными исследованиями. На Международной конференции по машинному обучению (ICML) на этой неделе будет представлена работа «When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation» (Когда бенчмарки ИИ выходят на плато: Систематическое исследование насыщения бенчмарков), соавтором которой является Ийян Нан из Cohere. Это исследование системно изучает, как бенчмарки перестают отражать реальный прогресс в способностях моделей.
Всего Cohere Labs и Cohere представят на ICML четыре исследовательские работы. Среди них:
- ModernVBERT: Towards Smaller Visual Document Retrievers — о создании более компактных систем для визуального поиска документов.
- Investigating continual pretraining in large language models: Insights and implications — исследование непрерывного предварительного обучения больших языковых моделей.
- EAGER: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling — механизм адаптивного масштабирования вывода LLM, который использует энтропию токенов для динамической настройки глубины модели. Это снижает затраты и задержки, сохраняя качество, и уже используется в сервисах LMCache и CoreWeave.
Помимо этого, Cohere Labs организует выступление Шашвата Гоэля на тему «Прогнозирование мировых событий с помощью языковых моделей» в рамках серии «Cohere Labs in Conversation». Это подчёркивает их интерес к практическим возможностям языковых моделей за пределами стандартных метрик.
Призыв Cohere Labs — важный шаг к переосмыслению того, как оцениваются и развиваются модели ИИ. Если бенчмарки действительно достигли своего предела, как показывает их исследование, то переход к проверке фундаментального лингвистического понимания и логического рассуждения становится необходимостью.