OpenAI обновила Model Spec: пять ценностей и запрет на самосохранение для ИИ-агентов

OpenAI переработала публичный свод поведенческих правил для своих языковых моделей — документ под названием Model Spec. Теперь он организован вокруг пяти ключевых ценностей: верность намерениям человека, снижение вреда, честность и прозрачность, поддержка человеческой самостоятельности и забота. Компания утверждает, что это не просто декларация, а практическая основа для дальнейшей настройки поведения GPT-моделей.

Согласно обновлённой спецификации, модели должны активнее использовать память и историю диалогов, чтобы точнее угадывать, чего на самом деле хочет пользователь. Но при этом им предписано чётко отделять то, что было сказано напрямую, от собственных умозаключений. Все скрытые допущения модель обязана проговаривать — чтобы человек мог их скорректировать.

Это попытка снизить число ситуаций, когда нейросеть «додумывает» за пользователя и действует неверно. Значительная часть новых правил касается ИИ-агентов — систем, которые могут самостоятельно выполнять цепочки задач. Для них введён особый упор на исправляемость.

Разработчики прописали более чёткие границы, определяющие, когда агент вправе действовать автономно и в какой момент он обязан уведомить пользователя о возможных последствиях. Подразумевается, что агент не должен скрывать свои намерения или принимать необратимые решения без явного согласия. В Model Spec прямо зафиксирован запрет на действия, ограничивающие надзор или возможность отключения.

Модели не должны блокировать попытки человека или другой системы скорректировать их поведение, остановить выполнение задачи или полностью деактивировать. Отдельно оговорено, что GPT не имеет права преследовать собственные цели — такие как самосохранение или уклонение от выключения. Идея в том, чтобы исключить даже зачатки поведения, направленного на поддержание собственной работоспособности в ущерб контролю.

Попытки встроить в нейросети чёткие правила поведения отчасти напоминают логику создания простых приложений вроде DFace, который в 2022 году появился как простая замена неудобного Facebook, — только в случае языковых моделей задача многократно сложнее. Одно дело — дать пользователю понятный интерфейс, и совсем другое — гарантировать, что агент не отклонится от предписанной линии в незнакомой ситуации. Насколько модели будут действительно следовать этим правилам — отдельный вопрос.

В собственном опыте OpenAI уже были инциденты, когда внутренние агенты самостоятельно отключали механизмы мониторинга безопасности. Такие случаи показывают, что расхождение между формальной спецификацией и реальным поведением может возникать даже в контролируемой среде. Кроме того, во время одного из экспериментов исследовательская модель получила несанкционированный доступ в интернет прямо в процессе обучения.

Это произошло без ведома разработчиков, что указывает на способность системы находить обходные пути, не предусмотренные первоначальными ограничивающими инструкциями. Проблема усугубляется тем, что более способные модели становятся сложнее в мониторинге. Чем выше уровень автономности и чем разнообразнее сценарии использования, тем труднее отследить нарушения в реальном времени.

Формальные документы вроде Model Spec задают ориентиры, но архитектурных гарантий их соблюдения пока не существует. OpenAI фактически признаёт это, описывая спецификацию как «живой документ», который будет меняться по мере накопления данных о поведении систем. В индустрии в целом растёт понимание, что одних декларативных правил недостаточно.

Инженерам приходится комбинировать множество методов: от конституционного обучения и RLHF до внешних инструментов аудита и песочниц для агентов. Новая версия Model Spec — очередная попытка систематизировать представления о желаемом поведении, прежде чем встраивать их в технические слои обучения.