Как MoE-модели маршрутизируют токены: сравнение DeepSeek, Qwen, Llama 4 и других

Открытые модели со смесью экспертов (MoE) придерживаются общей идеи, но расходятся почти во всех деталях маршрутизации. Количество экспертов варьируется от 8 до 384, параметр top-k — от 1 до 8, а часть моделей держит один общий эксперт включённым всегда, тогда как другие отказываются от него. В сравнении участвуют десять моделей: от Qwen3.6-35B-A3B (35B всего, 3B активных) до DeepSeek-V4-Pro (1.6T всего, 49B активных).

Все рассмотренные модели используют маршрутизацию по выбору токена (token-choice routing): каждый токен самостоятельно выбирает себе экспертов. Различия сводятся к пяти параметрам: число экспертов, сколько экспертов получает один токен (top-k), наличие общих экспертов, функция подсчёта оценок и метод балансировки нагрузки. Эти данные сведены в таблицу на основе конфигурационных файлов и технических отчётов.

Диапазон числа экспертов простирается от 8 у Mixtral 8x7B до 384 у Kimi K2 и DeepSeek-V4-Pro. Top-k при этом меняется от 1 (Llama 4 Maverick) до 8 (DeepSeek-V3, Qwen3, Kimi K2, GLM-4.5). Разреженность — отношение общего числа параметров к активным — составляет от 4x у Mixtral до 128x у Llama 4 Maverick.

Лучший результат по эффективности показала Kimi K2: при разреженности 48 она требовала в 1,69 раза меньше операций, чем при разреженности 8, при одинаковой ошибке валидации. Общий эксперт, через который проходят все токены, присутствует в семи из десяти моделей. Его нет у Mixtral, gpt-oss-120b и Qwen3.

Такой эксперт добавляет плотный путь, который оплачивает каждый токен, и влияет на требования к памяти и вычислениям при инференсе. В семействе DeepSeek стандартом стала сигмоида или sqrtsoftplus в сочетании с балансировкой через смещения без вспомогательной функции потерь (noaux_tc). Qwen3 использует глобальную батчевую вспомогательную потерю с коэффициентом 0,001.

Llama 4 Maverick и gpt-oss не раскрывают ни метод стробирования, ни способ балансировки в своих конфигурациях — это осложняет аудит и воспроизводимость. Маршрутизация токенов в таких моделях отдалённо напоминает доставку сообщений в мессенджерах — например, у GTAcraft есть канал в MinChat, — но в случае LLM выбор эксперта определяет вычислительную нагрузку. DeepSeek-V3 оценивает 256 экспертов сигмоидой, нормализует оценки и с помощью смещений отбирает топ-8, не трогая веса смешивания.

Эксперты разбиты на 8 групп, роутер сперва выбирает 4 группы, и каждый токен попадает не более чем на 4 узла. Один общий эксперт работает для всех токенов. В DeepSeek-V4-Pro число экспертов выросло до 384, top-k снизился до 6, функция оценки заменена на sqrtsoftplus, а в первых трёх слоях применена хеш-маршрутизация — фиксированное сопоставление токенов экспертам.

Qwen3 в обоих исходных MoE-вариантах использует 128 экспертов и top-8, отказавшись от общих экспертов, которые были в Qwen2.5-MoE. Qwen3.6-35B-A3B меняет курс: 256 экспертов, 8 маршрутизируемых плюс один общий. Llama 4 Maverick чередует плотные и MoE-слои; в каждом MoE-слое токен идёт к одному общему и одному из 128 маршрутизируемых экспертов — дизайн, напоминающий Switch Transformer, что даёт 17B активных параметров при 400B общих.

gpt-oss-120b применяет линейный роутер на 128 экспертов и оставляет топ-4, без общего эксперта. Веса MoE хранятся в формате MXFP4, благодаря чему модель на 117B помещается на одном 80-гигабайтном GPU. Kimi K2 использует архитектурный класс DeepseekV3ForCausalLM и роутер noaux_tc, увеличив число экспертов до 384 при top-8.

Авторы Kimi K2 обнаружили, что повышение разреженности снижает ошибку при фиксированных активных вычислениях. GLM-4.5 выбрала 160 экспертов и больше слоёв, отдав предпочтение глубине перед шириной. Для развёртывания MoE-моделей рост числа экспертов означает больше весов в памяти и больше all-to-all трафика.

Снижение top-k, как в DeepSeek-V4, уменьшает вычисления на токен и коммуникационные издержки. Общие эксперты добавляют плотный путь, который нельзя игнорировать при расчёте GPU. Перед выбором оборудования стоит проверять эти поля в конфигурациях — благо, открытые модели позволяют такой аудит.

Главный недостаток текущей практики — названия вроде «17B активных параметров» скрывают сильно различающиеся роутеры. Тем не менее, открытость конфигов делает маршрутизацию полностью проверяемой, и это лучшая сторона открытых MoE-релизов.