Масштабирование Mixture-of-Experts (MoE) моделей до сотен экспертов на традиционных GPU быстро исчерпывает ресурсы. Cerebras опубликовала детальный разбор, почему это происходит и как её уникальная архитектура Wafer Scale Engine (WSE) решает эти проблемы.
Ключевая проблема MoE на GPU — необходимость загружать все эксперты в память, даже если для каждого токена используется лишь малая их часть. Это приводит к линейному росту требований к памяти с увеличением числа экспертов, быстро исчерпывая ресурсы даже GPU. Перемещение весов экспертов в память GPU на лету для каждого токена слишком медленно из-за ограничений пропускной способности памяти и задержек.
Стандартное решение для GPU — экспертный параллелизм (Expert Parallelism, EP) — распределяет экспертов по нескольким устройствам. Однако такой подход требует интенсивных all-to-all коммуникаций для перетасовки токенов между устройствами. Это создаёт конфликт между качеством модели, которое часто достигается за счёт специализации экспертов и возможной несбалансированной нагрузки, и эффективностью инфраструктуры, требующей предсказуемых и сбалансированных рабочих нагрузок для оптимальной утилизации оборудования.
Cerebras Wafer Scale Engine (WSE) обходит эти ограничения, интегрируя 850 000 ядер и 40 ГБ накристальной памяти на одном кремниевом кристалле. Это устраняет узкие места межпроцессорной коммуникации и обеспечивает предсказуемую пропускную способность памяти, что критично для эффективной работы с разреженными моделями без необходимости загружать все эксперты в память каждого устройства.
Cerebras чётко демонстрирует, что для эффективного масштабирования MoE-моделей необходим пересмотр архитектуры, выходящий за рамки традиционных GPU-кластеров. Однако статья не приводит конкретных бенчмарков производительности MoE на WSE по сравнению с GPU-решениями.