StreamEval: лучшие потоковые нейросети выполняют лишь 15% правок по референсу
Исследователи из Tsinghua, NVIDIA и других лабораторий представили бенчмарк StreamEval для оценки нейросетей, генерирующих видео в реальном времени. В тесте из 300 сценариев 37 моделей показали, что стабильно держат картинку, но плохо справляются с командами пользователя: лидер среди аватаров выполнил действия лишь в 36,9% случаев, а лучшее редактирование по референсу достигло только 15% успеха.
Коротко
- Потоковые видеомодели уверенно сохраняют качество картинки и внешность персонажей, но надёжность выполнения команд с учётом тайминга остаётся низкой.
- Бенчмарк StreamEval объединяет аватаров, генерацию мира и редактирование в одном протоколе с длительностью сценариев до 300 секунд.
- Авторы связывают слабые результаты не с визуалом, а с неспособностью моделей точно интерпретировать, что, когда и где изменить по запросу.
Группа исследователей из Tsinghua University, NVIDIA, CMU, UC Berkeley, Princeton, NUS и Reactor выпустила StreamEval — бенчмарк для проверки нейросетей, которые генерируют видео в реальном времени. В отличие от обычных text-to-video моделей, потоковые системы создают кадры авторегрессионно, позволяя пользователю вмешиваться в процесс: попросить аватара поднять руку, повернуть камеру или перекрасить объект. StreamEval оценивает, насколько точно модель выполняет такие команды, не разрушая уже существующее содержимое кадра.
Бенчмарк включает 300 сценариев длительностью от 15 до 300 секунд и пять типов задач: диалог с цифровым аватаром, выполнение действий, генерация мира по тексту, редактирование видео по инструкции и редактирование по референсу. Сценарии содержат 1347 запланированных онлайн-событий, а один полный прогон занимает 525 минут активной генерации. Запросы подаются постепенно по таймеру, так что модель узнаёт о команде только в момент её поступления.
Авторы прогнали через StreamEval 37 моделей. Результаты оказались далеки от идеала. Лучший показатель выполнения команд у аватаров составил 36,90 из 100, у генерации мира по тексту — 25,93.
Полностью корректное редактирование по референсу удалось лидеру лишь в 15% случаев. При этом визуальное качество и стабильность видео модели держат хорошо: у Vidu S2 Avatar, лидера в задаче выполнения действий, стабильность видео достигает 97,25 из 100, а сходство аватара с исходным портретом — 86,12 из 100. Сценарии для бенчмарка составляла модель Qwen3.8-Max: она задавала цели сессии, команды с таймингами, атрибуты, которые нельзя изменять, и ожидаемый результат.
Портреты аватаров генерировали GPT-Image-2 и Qwen-Image, речь синтезировала Qwen3.5-Omni, в том числе с фоновым шумом и эхом. Для задач редактирования использовали лицензированные видео из Wikimedia Commons, NASA и Blender Studio без склеек, зацикливания и ускорения. Оценка ведётся по десяти метрикам, сгруппированным в четыре категории: качество выполнения задач, согласованность состояния, визуальное качество и аудиовизуальная синхронизация.
Метрика Edit Success, например, засчитывает правку только если она появилась вовремя, затронула лишь нужную область, продержалась заданное время и не испортила остальной кадр. A-V Sync проверяет совпадение движения губ с речью, сравнивая ширину открытия рта с громкостью голоса в каждый момент. В роли судей выступают VLM-модели, откалиброванные на позитивных и негативных примерах с долей ложноположительных решений не выше 5%.
Для метрики Identity берут меньшую оценку из двух судей — Qwen3.8-Max-0902 и Qwen3-VL-Plus, чтобы модель не выигрывала за счёт подмены лица похожим. Итоговый балл Overall считается как среднее применимых метрик, а модели с возможностью загрузки собственного портрета аватара получают бонус +5. В диалогах лидирует Vidu S2 Avatar с Overall 93,98 и лучшим баллом за сам диалог 75,29.
Показателен случай MuseTalk 1.5: при Quality 95,34 и Stability 97,11 синхронизация губ составила лишь 38,09. В задаче выполнения действий разрыв ещё заметнее: у всех семи моделей Following находится в диапазоне от 6,37 до 36,90, хотя Identity у лидеров выше 80, а Stability выше 96. В генерации мира лучший Overall у MemFlow (33,36), а максимальный Following среди 17 конфигураций показала Krea Realtime — 25,93.
В редактировании по инструкции лидирует Vidu S2 Editing с Edit Success 57,20, но Quality даже у лучших не поднимается выше 22,99. Редактирование по референсу стало самым трудным: максимальный Edit Success составил 15,00. Авторы отмечают, что модели уже умеют держать качество картинки и внешность персонажа на длинных сессиях, но пока плохо понимают, что, когда и где пользователь попросил изменить.
На записанной сессии видно, как модель должна одеть всадника в красный бархатный плащ, на 10-й секунде сменить его на золотой атласный, а на 20-й убрать правку. Сцену она сохраняет, но вместо золотого атласа оставляет исходный серый плащ. Проект опубликован с открытым кодом оценки на GitHub, тестовыми сценариями на Hugging Face и лидербордом результатов.
Все оценки пока выставляют автоматические судьи, сравнение с попарными оценками людей авторы называют следующим шагом. В таблицах редактирования показаны только конфигурации с Overall не ниже 5, и этот порог выбрали уже после оценки. Диалоговая задача не проверяет, видит ли модель пользователя через камеру.
Также стоит отметить, что Jintao Zhang входит в команду StreamEval и одновременно указан первым автором статьи о Vidu S2, модели, которая лидирует в четырёх задачах из пяти. StreamEval собирает аватаров, генерацию мира и редактирование в одном протоколе, заполняя пробел между существующими бенчмарками. VBench и EvalCrafter оценивают лишь визуальное качество, WBench смотрит на многошаговое управление миром, а LongV2VBench — на редактирование длинных видео.
При этом 300-секундные сценарии StreamEval в пять раз длиннее, чем в LongV2VBench, где максимум составляет 60 секунд.
Источник: Neurohive
