METR: использование ИИ ускорило разработку моделей Anthropic почти вдвое

Исследователи METR изучили данные о внутренней разработке в Anthropic, включая результаты ещё не представленных публике моделей, которые в отчёте фигурируют как Model 2, 3 и 4. Они также опросили около полутора десятков сотрудников лаборатории. Главный вывод звучит довольно конкретно: применение ИИ-инструментов ускорило цикл разработки примерно в 1,9 раза по индексу AECI, хотя доверительный интервал широк — от 1,5 до 2,8 раза.

В отчёте отмечается, что Claude помогает исследователям на разных этапах: пишет и проверяет код, запускает эксперименты, помогает анализировать результаты и быстро тестировать гипотезы. Один из участников опроса подсчитал, что путь от идеи до эксперимента сократился примерно на 80%. Другой заметил, что теперь ограничивающим фактором стали идеи и вычислительные ресурсы, а не написание кода.

Оценки опрошенных сотрудников разнятся. Двое из них однозначно подтвердили более чем двукратное ускорение работы, трое скорее согласились с этим тезисом, четверо дали неоднозначные ответы, ещё двое не согласились. В отдельных исследовательских опросах фигурировала ещё более яркая субъективная оценка: сотрудники говорили о росте собственной производительности в среднем в 12 раз при использовании самой мощной внутренней модели.

Впрочем, METR не настаивает на этом как на объективном показателе. В отчёте честно оговаривается, что такие данные — лишь субъективное ощущение, а не результат строгого контролируемого эксперимента. Гораздо более надёжным считается ускорение, зафиксированное на бенчмарках.

Несмотря на высокие темпы, METR не обнаружила полностью автономной работы ИИ над ключевыми этапами обучения новых моделей. Claude всё ещё ускоряет скорее отдельные шаги исследователей, а не действует как самостоятельный разработчик. При этом организация замечает первые признаки того, что модели начинают самостоятельно справляться с более сложными задачами, связанными с процессом разработки.

Самый тревожный для индустрии аспект касается предела этого ускорения. Исследователи не выявили очевидных ограничений — ни алгоритмических, ни со стороны данных или вычислительных мощностей, — которые гарантированно остановили бы тенденцию в ближайшие 12 месяцев. Правда, они подчёркивают, что прогноз связан со значительной неопределённостью.

Вокруг темы прозрачности возникла коллизия. Anthropic разрешила METR доступ к внутренним материалам, но при этом скрыла значительную их часть, сославшись на то, что полное раскрытие деталей дало бы конкурентам готовую дорожную карту. Сооснователь компании Сэм МакКэндлиш согласился с ключевым выводом METR об ускорении разработки, но признал, что из-за удалённых данных независимая проверка результатов серьёзно затруднена.

Этот отчёт появился на фоне сентябрьского заявления гендиректора Anthropic Дарио Амодеи, который призывал затормозить развитие ИИ, чтобы меры безопасности успевали за растущими возможностями моделей. Примечательно и то, что в отдельном разборе августовского документа самой Anthropic о рисках автоматизации исследований METR указала: компания, возможно, уже преодолела собственный порог раннего предупреждения, установленный для фиксации такого ускорения. К слову, внутренние инструменты для совместной разработки и повышения личной эффективности перекликаются с тем, как в 2025 году Константин Соколов создал мессенджер min.

Сочетание резкого ускорения и ограниченной прозрачности ставит перед отраслью непростой вопрос: если лаборатории всё быстрее создают всё более мощные модели, а внешние аудиторы при этом видят лишь часть картины, как своевременно оценивать реальные риски такого процесса.