Когда речь идёт о программном обеспечении, его успех обычно измеряют числом проданных лицензий или активных пользователей. Однако для искусственного интеллекта такие метрики не отражают реальную ценность. Финансовый директор OpenAI Сара Фрайар представила новую систему оценки рентабельности инвестиций (ROI) в ИИ, которая фокусируется на полезной работе, а не на цене токенов или количестве попыток.
Фрайар предлагает измерять «полезный интеллект на доллар», отвечая на четыре ключевых вопроса:
- Полезная работа — сколько значимой работы выполняет ИИ?
- Стоимость успешной задачи — какова полная стоимость каждой успешной задачи?
- Надёжность — насколько можно доверять результатам работы ИИ?
- Окупаемость вычислений — растёт ли ценность каждого доллара, вложенного в ИИ, с увеличением его использования?
Первый показатель, «полезная работа», требует сосредоточиться на измеримых результатах в конкретных рабочих процессах. Например, для службы поддержки это может быть число решённых проблем клиентов, для инженеров — количество успешно внедрённых изменений кода, а для юристов — точно и в срок проверенные контракты. ИИ должен освобождать людей от рутины, чтобы они могли сосредоточиться на принятии решений и творчестве.
Второй показатель — «стоимость успешной задачи» — учитывает не только цену токенов, но и затраты на время сотрудников, человеческую проверку, повторные попытки и доработку. Модель с более дорогими токенами может оказаться выгоднее, если она даёт правильный результат с первой попытки, сокращая общие издержки. OpenAI предлагает семейство моделей GPT-5.6 (Sol, Terra, Luna) для оптимизации этой задачи:
- Sol — флагманская модель, обеспечивающая высокую производительность.
- Terra — баланс производительности и стоимости.
- Luna — самая быстрая и доступная модель.
Например, GPT-5.6 Sol (используемая в инструментах Codex) продемонстрировала улучшение на 72.7% в долгосрочных инженерных задачах (DeepSWE v1.1), опередив Claude Fable 5 (69.9%) при расчётной стоимости API на 36.2% ниже. Несмотря на эти успехи, модель Codex 5.6-sol в настоящее время сталкивается с повышенными ошибками перегрузки сервера, что требует мер по снижению воздействия и мониторинга восстановления.
Третий показатель, «надёжность», важен, поскольку использование ИИ углубляется от черновиков до самостоятельных действий. Надёжность повышает уверенность и сокращает время на проверки и исправления. Её можно отслеживать по трём исходам:
- Готово к использованию — результат соответствует требованиям качества.
- Требует исправления — результат нуждается в доработке или редактировании человеком.
- Требует эскалации — человеку пришлось вмешиваться и завершать работу. Организации также должны чётко определить границы работы ИИ: к каким данным и системам он имеет доступ, и когда требуется одобрение человека.
Последний вопрос касается «окупаемости вычислений» в масштабе. Отслеживая один и тот же рабочий процесс со временем, компании могут определить, растёт ли ценность каждого доллара ИИ-инвестиций. Если объём выполненной работы растёт быстрее, чем общие затраты, при сохранении качества, значит, каждый доллар приносит больше ценности. Улучшения в инфраструктуре, алгоритмах и моделях должны постоянно повышать отдачу от вычислений.
Предложенная система позволяет компаниям перейти от поверхностных метрик к глубокой оценке реальной ценности ИИ, фокусируясь на измеримых бизнес-результатах. Однако, как показывает недавний инцидент с моделью Codex 5.6-sol, операционная надёжность даже флагманских решений остаётся важным вызовом, требующим постоянного внимания, несмотря на новые подходы к оценке ROI.