Решать сложные задачи с помощью ИИ часто означает отправлять одни и те же или похожие запросы снова и снова, что ведет к росту затрат. OpenAI учла это в новых моделях gpt-6-sol и gpt-6-luna, которые теперь дешевле для таких сценариев.
Обе модели относятся к классу «рассуждающих» ИИ: они способны анализировать как текстовые, так и графические данные, а затем генерировать текстовые ответы. Доступ к ним осуществляется через API Responses и Chat Completions. Такой подход позволяет моделям выполнять более сложные когнитивные задачи, требующие понимания контекста из разных типов ввода.
Ключевое изменение — в ценовой политике, которая вводит сниженную стоимость для кэшированного ввода. Это означает, что если модель повторно получает запрос, который уже обрабатывала, стоимость такого обращения уменьшается в десять раз. Цены за 1 миллион токенов (до 272K входных токенов) выглядят так:
- gpt-6-sol:
- Стандартный ввод: $2.
- Кэшированный ввод: $0.20.
- Вывод: $10.
- gpt-6-luna:
- Стандартный ввод: $0.10.
- Кэшированный ввод: $0.01.
- Вывод: $0.50.
Механизм кэширования промптов позволяет повторно использовать уже обработанные части запросов, не пересчитывая их каждый раз. Это особенно актуально для многошаговых или итеративных процессов, где часть входных данных остается неизменной.
Такая ценовая политика с кэшированием ввода делает новые модели особенно привлекательными для сложных рабочих процессов, где повторяющиеся запросы — обычное дело. Это позволяет инженерам снизить затраты на итерации и эксперименты, но реальная экономия будет зависеть от эффективности использования кэша в конкретных задачах.