До сих пор запуск моделей Hugging Face на специализированных чипах AWS Trainium требовал обходных путей и специфических библиотек. Теперь Hugging Face объявляет о поддержке TorchNeuron, нового бэкенда PyTorch, который делает Trainium «обычным устройством» для их библиотек.
TorchNeuron интегрируется напрямую в PyTorch, позволяя использовать Trainium как стандартное устройство. Это означает поддержку eager execution (привычного режима выполнения), torch.compile и нативных распределенных API PyTorch, таких как FSDP и TP. Такой подход устраняет сложности предыдущего решения через библиотеку optimum-neuron, которая требовала работы с ленивыми тензорами и статическими формами, а также адаптации кода.
Новая интеграция расширяет совместимость: 89% из 100 самых популярных архитектур моделей для генерации текста теперь поддерживаются «из коробки» в библиотеке Transformers, по сравнению с 46% ранее. Это позволяет разработчикам использовать те же классы и скрипты, что и для других ускорителей, без необходимости вносить изменения.
Публичная бета-версия TorchNeuron станет доступна 20 октября 2026 года. Hugging Face теперь рекомендует использовать свои библиотеки напрямую, минуя optimum-neuron для работы с Trainium, что должно упростить процесс разработки.
Переход на TorchNeuron существенно упрощает разработку и развертывание моделей Hugging Face на AWS Trainium, делая специализированное железо более доступным для широкого круга инженеров. Однако не сообщается, как это изменение повлияет на стоимость или производительность по сравнению с предыдущими методами.