В условиях растущих требований к универсальности AI-моделей, IBM представила Granite Switch 4.1, который объединяет возможности чат-бота, принятия решений и преобразования речи в текст на одной хостинговой конечной точке. Это позволяет сократить задержки и затраты на развертывание, избегая необходимости использовать несколько отдельных моделей для разных задач.
Granite Switch 4.1, доступный в версиях 8B и 30B, использует архитектуру Activated LoRAs (aLoRA). Это позволяет модели эффективно переключаться между задачами без увеличения потребления VRAM, поскольку компоненты совместно используют KV-кэш базовой модели. Такой подход обеспечивает больше возможностей при использовании меньшего количества графических процессоров.
В состав модели входят три ключевых компонента:
- Decision aLoRA — новый адаптер для общих задач принятия решений.
- Guardian aLoRA — специализированный адаптер для задач безопасности, который, по данным IBM, превосходит конкурентов вроде Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash.
- Granite-Speech-5.0-Turbo-CTC — самый быстрый ASR-модуль (модель преобразования речи в текст) на OpenASR Leaderboard, встроенный для задач транскрипции.
IBM подчеркивает модульность подхода: разработчики могут не только использовать готовые конфигурации Granite Switch 4.1, но и создавать собственные модели. Это достигается путем комбинирования адаптеров из обширной библиотеки Granite Libraries, что позволяет оптимально настроить модель под специфические нужды.
Интеграция различных AI-способностей в одну модель, доступную на единой конечной точке, является ключевым шагом к более экономичным и производительным AI-системам. Однако IBM не раскрывает конкретные метрики производительности и стоимости развертывания этой универсальной модели по сравнению с отдельными специализированными решениями, что оставляет открытым вопрос о реальной эффективности в различных сценариях.