Набор текста для взаимодействия с ИИ становится неестественным — так считает президент OpenAI Грег Брокман. Теперь компания делает шаг к новому интерфейсу: голосовой режим ChatGPT интегрирован в настольное приложение. Это позволяет пользователям управлять компьютером и координировать работу нескольких агентов прямо с рабочего стола.
Новая функция работает на базе GPT-Live, что позволяет системе одновременно слушать, говорить и координировать задачи в приложении. Голосовой режим доступен глобально для планов Plus, Pro, Business, Edu и Enterprise как на macOS, так и на Windows.
Разработчики получили возможность начинать новые задачи, проверять текущие процессы и управлять рабочими потоками в ChatGPT Work или Codex с помощью голосовых команд в рамках одной беседы.
Помимо этого, Codex — инструмент для агентного кодирования, способный создавать и размещать веб-приложения, — получил новые возможности для работы с проектами. Теперь локальные проекты могут включать связанные файлы из нескольких папок. Это позволяет Codex читать и записывать данные между ними, при этом одна основная папка остаётся корневым каталогом Git.
Для сайтов, опубликованных через Codex, в публичное тестирование вышел инструмент Sites Analytics, который предоставляет базовые метрики производительности. Ранее президент OpenAI Грег Брокман также предложил использовать плагин Codex Security для применения моделей OpenAI в киберзащите, что пока остаётся на уровне рекомендации.
Переход на голосовой интерфейс, поддержанный возможностями GPT-Live, меняет парадигму взаимодействия не только с ChatGPT, но и со сложными инструментами разработки, такими как Codex. Это означает, что инженерам предстоит адаптироваться к новым способам управления проектами и координации работы агентов, где клавиатура постепенно уступает место голосу. Однако пока неясно, насколько эффективно голосовое управление справится с задачами, требующими высокой точности ввода и визуального контроля.