Google DeepMind показала Genie 4 — мировую модель, которая симулирует реальность со звуком и диалогами в реальном времени

Google DeepMind представила Genie 4 — очередную версию своей интерактивной мировой модели, которая пришла на смену Genie 3, показанной в августе 2025 года. В отличие от систем, создающих готовые ролики, Genie 4 просчитывает сцену покадрово и реагирует на ввод в реальном времени. Пользователь перемещается по пространству с клавиатуры и может направлять происходящее текстовыми промптами.

Принципиальным новшеством стало прямое генерирование звука. Как заявляют в компании, каждая симулируемая среда получает собственное фоновое аудио — например, шум ветра в кронах деревьев. Кроме того, Genie 4 обрабатывает диалоги: персонажи общаются друг с другом и в реальном времени откликаются на действия пользователя или внутриигровые события.

Наибольший прирост реализма, по мнению DeepMind, заметен в рендеринге людей. Персонажи двигаются естественнее, реагируют на окружение, и ими можно управлять напрямую. За визуальную составляющую отвечают способности видеомодели Gemini Omni, обеспечивающие реалистичную картинку и поведение объектов.

За согласованность мира отвечают фоновые языковые модели Gemini. Когда пользователь текстовой командой меняет погоду, Gemini адаптирует инструкцию к текущей сцене. В промежутках между вводом пользователя модель также направляет события, чтобы симуляция продолжала развиваться осмысленно.

DeepMind описывает процесс на примере многошаговых задач: Gemini 3.8 Flash непрерывно отслеживает сцену, разбивает цель на этапы и сверяется с новыми кадрами, проверяя успех каждого шага. Если ситуация меняется или вмешивается пользователь, план корректируется. Компания тестирует и более мощную модель — Gemini 4 Argon, чтобы связать наработки Genie с робототехническим проектом Gemini Robotics.

В одном из демо Argon раскладывает партию в шашки на этапы и передаёт их в Genie 4 текстовыми инструкциями. Модель симулирует гуманоидного робота Apollo от Apptronik, играющего в шашки, без участия реального устройства. DeepMind называет Genie 4 ранней экспериментальной моделью.

Короткие сессии остаются согласованными, но в продолжительных симуляциях или после нескольких сложных смен промпта визуальные детали могут уплывать, а объекты — исчезать. Компания всё ещё исследует правдоподобное физическое взаимодействие, точную генерацию звука в реальном времени и читаемый текст. Сейчас Genie 4 доступна лишь избранным тестировщикам в рамках исследовательского предпоказа.

Вскоре её обещают открыть подписчикам Google AI Ultra через веб-приложение Project Genie, а также партнёрам с ранним доступом к Gemini API и Google AI Studio. Google намерена помечать все сгенерированные видео и аудиодорожки водяным знаком SynthID для невидимой маркировки ИИ-контента. По мере взросления мировые модели смогут служить тренировочными средами, где роботы и ИИ-агенты учатся на симулированном опыте, а не только на статичных данных.

В DeepMind рассматривают спаривание Gemini с Genie как ранний шаг к гибридным мировым моделям, объединяющим рассуждение языковых и кодовых моделей с попиксельной симуляцией.