AI-модели хорошо справляются с языком, но часто не понимают культурный контекст. Cohere Labs представила CulturalRiddles — новый бенчмарк, который проверяет способность ИИ разгадывать загадки, требующие именно культурных знаний, а не только лингвистических.
Бенчмарк CulturalRiddles создан для оценки «культурного понимания» AI, которое Cohere описывает как способность интерпретировать смысл, выходящий за рамки буквального перевода слов. Это позволяет выявить пробелы в знаниях моделей, которые могут быть обучены на огромных массивах текста, но не на нюансах человеческой культуры.
В отличие от существующих бенчмарков, таких как CulturalVQA от Google (который фокусируется на визуальном культурном понимании), CulturalRiddles использует текстовые загадки. Их собрали у более чем 160 носителей языка из разных культур, что подчёркивает уникальность подхода Cohere к оценке культурных знаний в текстовых моделях.
Разработка бенчмарка является частью более широкой стратегии Cohere по созданию многоязычных моделей, способных связывать пользователей разных языков и культур. Это направление возглавляет Том Коцми из Праги.
CulturalRiddles показывает, что Cohere фокусируется не только на языковом разнообразии, но и на глубине понимания, необходимой для глобального ИИ. Однако компания не сообщила, какие именно модели лучше всего справились с бенчмарком и какие конкретные «культурные» ошибки были наиболее распространены.