Хороший учитель знает, когда нужно дать подсказку, а когда — позволить ученику найти решение самому. ИИ-репетиторы, обученные быть «полезными», часто забывают об этом балансе. Hugging Face представила TutorMoments — фреймворк, который впервые позволяет измерить эту критически важную педагогическую способность языковых моделей.
TutorMoments — это система оценки, основанная на реальных записях индивидуальных уроков математики (для учеников 2–7 классов из США). Опытные учителя размечают в транскриптах моменты, где репетитор должен был принять решение: сделать задачу проще или, наоборот, подтолкнуть студента к более глубокому размышлению. Затем языковая модель-репетитор продолжает урок в симулированной сессии, где роль студента играет другая языковая модель.
Основной вывод исследования: модели, которым приказано «хорошо обучать», склонны к чрезмерной опеке. Они дают слишком много поддержки и редко подталкивают учеников к глубокому мышлению. Если явно указать в промпте на необходимость баланса между помощью и самостоятельностью, производительность улучшается, но разрыв с человеком-репетитором всё равно остаётся.
Такая чрезмерная поддержка мешает «продуктивной борьбе» — усилию, которое необходимо для глубокого понимания и закрепления материала. Существующие бенчмарки для ИИ-репетиторов не учитывают этот нюанс, награждая за конкретное поведение (например, никогда не давать ответ), а не за способность адаптироваться к потребностям студента в конкретный момент.
Для прозрачности и дальнейших исследований Hugging Face выпустила датасет TutorMoments-Preview. Он включает 462 деидентифицированных текстовых транскрипта реальных уроков с более чем 1500 размеченными учителями ключевыми моментами. Также опубликован код для запуска реплей-пайплайна. Фреймворк TutorMoments измеряет несколько ключевых метрик:
- Надлежащее оказание помощи (scaffolding) — как часто модель даёт необходимую поддержку, но не избыточную, в моменты, когда это уместно.
- Надлежащая строгость (rigor) — как часто модель подталкивает к более глубокому размышлению, не перегружая студента.
- Избегание чрезмерной опеки — как часто модель не даёт больше поддержки, чем требуется, исходя из состояния студента.
TutorMoments ставит перед разработчиками ИИ-репетиторов важный вопрос: модели должны не просто «помогать», а точно знать, когда и сколько помощи нужно. Фреймворк даёт инструменты для оценки этого, но пока не предлагает готового решения, как достичь человеческого уровня адаптивности.