Moonshot AI выложила веса Kimi K3.1 Pro — MoE-модель на 2,8 трлн параметров теперь в открытом доступе
Китайская лаборатория Moonshot AI опубликовала полные веса языковой модели Kimi K3.1 Pro на Hugging Face. Модель с архитектурой mixture of experts содержит 2,8 трлн параметров, активирует 104 млрд на токен и поддерживает контекстное окно в 1 млн токенов.
Коротко
- Kimi K3.1 Pro — это MoE-модель на 2,8 трлн параметров с контекстным окном в 1 млн токенов и поддержкой ввода изображений.
- Moonshot AI выложила веса в обещанный срок, до 4 ноября, после двух недель работы модели в закрытом режиме через API.
- Публикация полных весов продолжает тренд китайских лабораторий на открытость, заданный DeepSeek и Qwen.
Китайская лаборатория Moonshot AI, создатель ассистента Kimi, 4 ноября опубликовала полные веса своей флагманской модели Kimi K3.1 Pro на платформе Hugging Face. Компания уложилась в собственный дедлайн — ещё в конце октября она пообещала открыть доступ к модели «до 4 ноября» и выполнила обещание день в день. До этого момента Kimi K3.1 Pro была доступна ограниченно: с 23 октября она работала через API и в приложениях Kimi, но скачать и развернуть модель локально было нельзя.
Теперь любой разработчик может получить веса и использовать модель в своих проектах. Архитектурно Kimi K3.1 Pro представляет собой mixture of experts (MoE). Общий объём модели достигает 2,8 трлн параметров, однако на каждый токен активируются лишь 104 млрд.
Это позволяет сохранять высокую производительность при относительно умеренных вычислительных затратах на инференс. Контекстное окно модели составляет 1 млн токенов, что даёт возможность обрабатывать очень длинные документы или целые кодовые базы за один проход. Модель принимает на вход не только текст, но и изображения.
Мультимодальность заявлена на уровне ввода — Kimi K3.1 Pro способна анализировать визуальную информацию и учитывать её при генерации ответа. Публикация весов Kimi K3.1 Pro продолжает серию открытых релизов со стороны ведущих китайских лабораторий. Ранее свои модели в открытый доступ выкладывали DeepSeek и Qwen, и Moonshot AI теперь присоединяется к этому тренду.
Для исследователей и разработчиков это означает появление ещё одной крупной MoE-модели, доступной для изучения, файнтюнинга и запуска на собственной инфраструктуре. Moonshot AI — одна из наиболее заметных открытых лабораторий Китая, привлёкшая значительные инвестиции. Её флагманский продукт, ассистент Kimi, конкурирует на внутреннем рынке с решениями от Baidu и ByteDance.
Выкладывая веса, компания не только расширяет аудиторию своей технологии, но и следует общей логике, при которой открытость становится аргументом в борьбе за разработчиков и enterprise-клиентов. Модель уже доступна для скачивания на Hugging Face. Каких-либо специальных ограничений на использование, помимо стандартной лицензии, компания не анонсировала.
Разработчики могут интегрировать Kimi K3.1 Pro в свои пайплайны, экспериментировать с дообучением и оценивать её возможности на собственных задачах. Для рынка это ещё один сигнал, что гонка открытых моделей не замедляется. Вслед за релизами Llama от Meta и Qwen от Alibaba, появление Kimi K3.1 Pro в открытом доступе даёт сообществу дополнительный инструмент для работы с длинным контекстом и MoE-архитектурами.
Остаётся вопрос, как модель покажет себя на независимых бенчмарках и в реальных сценариях использования, но сам факт публикации весов укрепляет позиции открытого подхода в разработке больших языковых моделей.
Источник: Хабр Новости