Когда ИИ может «помнить» целый роман, короткие диалоги уходят в прошлое. Теперь инженеры могут получить доступ к такому инструменту: платформа OpenRouter добавила модели Sakana Fugu Max и Fugu Ultra v2. Они предлагают контекстное окно (память модели) в 1 000 000 токенов.
Обе модели, Fugu Max и Fugu Ultra v2, поддерживают контекстное окно в миллион токенов. Это позволяет им обрабатывать и запоминать огромные объёмы информации, эквивалентные сотням страниц текста. Помимо текстового ввода, они работают в мультимодальном режиме, принимая изображения и файлы, которые затем преобразуются в текст для обработки.
За моделями стоит японская компания Sakana AI, основанная в 2023 году Дэвидом Ха, Реном Ито и Ллионом Джонсом. Последний известен как соавтор статьи «Attention Is All You Need», представившей архитектуру Transformer, лежащую в основе современных больших языковых моделей.
Ценообразование моделей на OpenRouter различается:
- Fugu Max — $2 за миллион входных токенов и $6 за миллион выходных токенов.
- Fugu Ultra v2 — $5 за миллион входных токенов и $30 за миллион выходных токенов для контекста до 272 000 токенов. При превышении этого порога цена удваивается: $10 за вход и $45 за выход.
Кэшированные входные токены стоят $0.25 для Max и $0.50/$1.00 для Ultra v2 соответственно. OpenRouter также тарифицирует вызовы веб-поиска и веб-извлечения по $0.007 за каждый. Важно отметить, что Fugu Ultra v2 дополнительно учитывает так называемые оркестрационные токены, которые используются для внутренней работы модели и также оплачиваются по стандартным тарифам.
Доступность Fugu Max и Ultra v2 на OpenRouter открывает новые возможности для инженеров, которым нужны AI-модели с глубокой памятью и способностью работать с разными типами данных. Однако высокая стоимость Ultra v2 для длинного контекста и дополнительные оркестрационные токены требуют внимательного расчёта бюджета, особенно для приложений, требующих обработки больших объёмов информации.