Anthropic: мы близки к ИИ, который ускоряет создание новых моделей

Anthropic подала в Комиссию по ценным бумагам и биржам США обновлённый документ S-1/A, в котором предупредила, что вплотную приблизилась к созданию систем ИИ, способных ускорять разработку новых моделей. Речь идёт о рекурсивном самосовершенствовании (recursive self-improvement, RSI) — процессе, при котором ИИ помогает создавать и улучшать следующие поколения технологии. Это может ускорить научный прогресс, но одновременно повысить риск потери контроля над ИИ.

Компания уже применяет собственные модели в исследованиях и разработке. В документе отмечается, что ИИ помогал создавать новые модели, возможности которых разработчики не всегда могли заранее оценить. Из-за этого способности систем могут расти быстрее, чем специалисты успевают разрабатывать и проверять меры безопасности.

Anthropic также признаёт, что в прошлом могла не замечать ускорения прогресса. По внутренним оценкам, в ближайшее время компания может достичь установленного в её Политике ответственного масштабирования порога «значительно ускоренного прогресса, обусловленного ИИ». Рекурсивное самосовершенствование рассматривают и как потенциальный источник серьёзных рисков, и как возможность ускорить научные открытия и повысить производительность.

В Anthropic считают, что быстрое развитие ИИ может опередить способность людей контролировать его возможности и обеспечивать безопасность, поэтому относят этот сценарий к рискам, которые необходимо учитывать при масштабировании. Об опасности RSI ранее предупреждали и в OpenAI. Несмотря на близость к порогу, Anthropic заявляет, что не рассчитывает в обозримом будущем безопасно использовать Claude для полностью автономного проектирования и создания следующих поколений передовых моделей без человеческого контроля и понимания происходящего.

Компания рассматривает возможность обновить свою политику, чтобы сохранить участие людей в разработке таких систем. К заявлениям о близости к рекурсивному самосовершенствованию стоит относиться с осторожностью. Документ S-1/A предназначен для раскрытия информации перед потенциальными инвесторами, но может выполнять и маркетинговую функцию.

Кроме того, сам термин RSI пока не имеет общепринятого определения, поэтому оценить, насколько близка к нему компания, непросто. Тема самосовершенствования ИИ не нова: в индустрии обсуждают возможные сценарии ускорения разработки моделей с помощью самих же моделей. Однако формальное признание Anthropic в документах для регулятора и инвесторов привлекает внимание к практическим последствиям: если системы будут помогать проектировать более мощные версии самих себя, это может изменить темпы прогресса и требования к контролю.

Для пользователей и разработчиков это означает, что ведущие лаборатории всё чаще рассматривают ИИ не только как продукт, но и как инструмент собственного развития. Вопрос о том, как сохранить управляемость в таких условиях, остаётся открытым, и Anthropic прямо указывает на необходимость обновления политик безопасности. Пока никаких конкретных сроков или новых моделей компания не называла; речь идёт о внутренних оценках и раскрытии рисков.

Тем не менее заявление подчёркивает, что грань между использованием ИИ как помощника и его участием в создании следующих поколений становится менее чёткой.