Оценка ИИ обычно сводится к проверке готовых знаний. Новая платформа EdgeBench от ByteDance меняет подход: она измеряет, как модели учатся и улучшаются непосредственно в реальных условиях, взаимодействуя с ними часами и днями.
EdgeBench — это первый бенчмарк для «обучения в среде» (environment learning), где агенты не просто решают задачу, а непрерывно взаимодействуют с окружением, получая обратную связь и улучшаясь. Он включает 134 реалистичные задачи, охватывающие шесть ключевых доменов:
- Научные проблемы и машинное обучение
- Системная и программная инженерия
- Профессиональная интеллектуальная работа
- Комбинаторная оптимизация
- Формальная математика и доказательство теорем
- Интерактивные игры и симуляторы
Каждая задача требует не менее 12 часов непрерывной работы, а некоторые эксперименты длились более 72 часов. Для сравнения, люди-эксперты тратили в среднем 57,2 часа на выполнение одной задачи, достигая максимума в 320 часов.
На основе 38 000 часов взаимодействия агентов с задачами, ByteDance обнаружила новый закон масштабирования: производительность агентов в «обучении в среде» следует логистической сигмоидной кривой (log-sigmoid curve) со средней точностью R² = 0.998. Эта закономерность не просто эмпирическая подгонка, но и объясняется теорией исследования графов.
Скорость обучения моделей разных поколений увеличивается. Для самых моделей, выпущенных с сентября 2025 по май 2026 года, эта скорость удваивается примерно каждые три месяца. Измерение проводилось на 18 задачах с сопоставимой начальной производительностью моделей, оценивая прирост за 2 часа взаимодействия.
В отличие от MLPerf, который измеряет готовую производительность в конкретных задачах (например, классификация изображений или генерация текста), EdgeBench фокусируется на адаптации и непрерывном улучшении. Это означает, что будущие различия между моделями будут зависеть не только от начальных возможностей, но и от скорости обучения уже после развертывания.
Обучение в реальной среде — это не просто итеративная доработка, а способность переосмысливать и реорганизовывать проблему в ответ на обратную связь. EdgeBench предлагает инструмент для измерения этой критической способности, но пока не даёт рецептов, как её развивать.