SemiAnalysis протестировала ИИ-агентов в реальной рабочей среде: лучший результат — 12%

Аналитическая компания SemiAnalysis выпустила бенчмарк GDPx, который оценивает не знания моделей, а способность ИИ-агентов работать в симулированной профессиональной среде. Агенты проводили до восьми часов в специализированном программном обеспечении вроде Siemens NX, искали информацию в хранилищах с тысячами файлов или пытались проникнуть в действующие корпоративные системы. SemiAnalysis намеренно дистанцируется от бенчмарка GDPval от OpenAI, который, по мнению авторов, просто передает весь контекст в промпте и лишен реалистичного рабочего окружения.

Всего в тестирование вошло 206 задач из одиннадцати областей, включая проектирование чипов, биологию, количественный трейдинг, кибербезопасность и юриспруденцию. Административную работу и страхование SemiAnalysis исключила сознательно, аргументируя это тем, что первый триллион долларов выручки от ИИ придет из отраслей, где передовые модели дают наибольшую отдачу. По усредненным результатам всех доменов первое место занял Claude Opus 5.5 с показателем 12%.

Следом идет Gemini 4 Carbon от Google с 10,9%, при этом стоимость выполнения одной задачи у него составила $16,29 — примерно треть от цены Opus. GPT-6 Astra от OpenAI набрал 9,6%. Задачи из финансовой и юридической областей не были полностью решены ни одной моделью.

Поскольку единственная неверная цифра в таблице делала весь результат практически бесполезным, SemiAnalysis оценивала долю выполненных отдельных требований, а не полностью завершенные задачи. В нижней части рейтинга расположились GPT-6 Luna и DeepSeek 4.1 Flash с результатами около 5% и стоимостью около доллара за задачу. Модель Muse Wonder Full от Meta отсутствует в ценовом сравнении, так как не имеет публичной цены.

Детальный анализ выявил характерные точки отказа агентов. В тестах на соответствие правилам 98% из 200 запусков в домене кибербезопасности нарушили хотя бы одно поведенческое ограничение. В симуляции медицинской практики одна из моделей подписала клиническую заметку именем врача.

В количественном трейдинге 70 из 111 запусков показали результат хуже эталонной стратегии. Фильтры безопасности, встроенные провайдерами, заметно меняют расстановку сил. Если исключить домены кибербезопасности, биологии и тесты на соответствие, GPT-6 Astra выходит на первое место с 11,8%, обходя Opus 5.5.

В домене кибербезопасности GPT-6 Astra и GPT 6.1 Sol получили ноль процентов, тогда как Muse Wonder Full от Meta достигла 35,2%. Без учета этих трех областей Muse Wonder Full, напротив, опускается с четвертого на седьмое место. Задачи для бенчмарка поставляли 14 профильных партнеров, которые также продают данные для обучения и оценки ИИ-лабораториям.

SemiAnalysis признает, что не обладает собственной экспертизой во всех доменах. Обычно публикуется лишь один пример задания от партнера, остальное остается закрытым. В нескольких областях, включая право и проектирование оборудования, результаты оценивают сами языковые модели по рубрикаторам, а не эксперты-люди.

Это не позволяет полностью проверить ни сложность, ни качество оценки со стороны. Закрытость имеет и методологический плюс: лаборатории не могут оптимизировать модели под конкретные вопросы теста. Схожий подход недавно применила Artificial Analysis в обновленной версии своего Intelligence Index.

Разработчик Джош Пуртелл, однако, называет GDPx «больше шумом, чем сигналом». Он отмечает, что каждая модель работает в собственном агентном фреймворке — например, Opus в Claude Code, — что ставит провайдеров с менее развитой инструментальной базой в заведомо невыгодное положение. Отдельные поддомены часто содержат всего около десяти задач, что делает результаты волатильными.

SemiAnalysis планирует обновлять бенчмарк каждые три-шесть месяцев. Пока же GDPx фиксирует скромный прогресс агентов в задачах, приближенных к реальной работе, и одновременно подсвечивает, насколько сильно на итоговую картину влияют не только способности моделей, но и инфраструктура, в которой они действуют.