Голосовой ИИ стал быстрее и точнее распознавать слова, но часто звучит неестественно и не улавливает контекст разговора. Hugging Face выпустил Real World VoiceEQ — бенчмарк, который измеряет именно это: человеческое качество взаимодействия.
Real World VoiceEQ создан для оценки способности голосовых систем распознавать, воспроизводить и реагировать на акустическую информацию. Это отличает его от традиционных метрик, таких как частота ошибок в словах (WER), которые игнорируют тон, эмоции, идентификацию говорящего и фоновый контекст.
Бенчмарк охватывает более 40 проприетарных и открытых голосовых моделей. Он оценивает их по более чем 15 ключевым параметрам и 60 метрикам в четырех основных категориях:
- ASR — автоматическое распознавание речи;
- TTS — преобразование текста в речь;
- S2S — преобразование речи в речь;
- Понимание речи — способность модели интерпретировать смысл сказанного. Его разработка основана на более чем 1 миллионе оценок от реальных людей, собранных в различных демографических группах и акустических условиях. Это одно из крупнейших человеческих исследований голосового ИИ на сегодняшний день.
Первые результаты VoiceEQ показывают, что прогресс в голосовом ИИ становится все более специализированным. Теперь нет единой «лучшей» модели: системы оптимизированы под разные сильные стороны, включая техническую точность, эмоциональное понимание, разговорный интеллект и выразительность. Это требует более тонких подходов к выбору и доработке голосовых ИИ.
Real World VoiceEQ заполняет критический пробел в оценке голосового ИИ, смещая фокус с сухих технических показателей на реальный пользовательский опыт. Однако Hugging Face пока не раскрыл подробные результаты по конкретным моделям, ограничившись общими выводами о специализации.