В мире, где AI-агенты часто обещают больше, чем делают, Hugging Face и Microsoft представили ThinkingBox-Training. Эта система использует исполняемые проверки состояния базы данных как функцию вознаграждения для обучения с подкреплением (RL), что позволило модели Qwen3.8-27B увеличить число задач, решаемых без ошибок в 20 попытках, почти в три раза.
Ключевая ThinkingBox-Training — использование бинарных результатов проверки конечного состояния базы данных как прямого сигнала вознаграждения для пост-тренировки RL-агентов. Это позволяет обучать модели на реальных, исполняемых результатах, а не на косвенных метриках, что повышает точность обратной связи для агента.
Метод повысил повторяемость успеха модели Qwen3.8-27B. Число задач, которые агент решал корректно во всех 20 попытках, выросло с 38 до 107 (с 7.5% до 21.1% от общего числа). Средний процент успешных попыток (pass@1) увеличился с 51.70% до 60.78%. Однако, процент задач, решённых хотя бы один раз (pass@20), немного снизился — с 89.35% до 87.97%.
Для эффективного обучения использовался подход "offline policy-relative difficulty". Он отбирает задачи оптимальной сложности для текущей версии модели, что максимизирует обучающий эффект. Это позволяет избежать тренировки на слишком лёгких или слишком сложных задачах, которые не приносят пользы.
Интеграция исполняемых проверок базы данных напрямую в цикл RL-обучения открывает путь к созданию более надёжных и предсказуемых AI-агентов. Однако, Hugging Face и Microsoft не сообщили о планах по открытию или коммерциализации ThinkingBox-Training.