OpenAI запустила Control Room для экстренной остановки ИИ-агентов

OpenAI внедрила в свою исследовательскую инфраструктуру систему Control Room, предназначенную для централизованного отслеживания работы ИИ-моделей и их экстренной остановки при обнаружении потенциальных угроз безопасности. По данным компании, после принятия решения о вмешательстве система блокирует дальнейший вывод результатов не позднее чем через 35 секунд. Control Room отслеживает исследовательские задачи, в которых задействованы модели.

Речь идет об экспериментах по обучению с подкреплением, оценке возможностей моделей, обработке данных и других процессах. Каждая задача, предполагающая работу ИИ-агентов, должна иметь утвержденное обоснование безопасности. При запуске ей присваивается уникальный идентификатор, по которому Control Room отслеживает ее статус.

Для остановки генерации система взаимодействует с механизмами вывода — компонентами, которые запускают модели на графических процессорах и производят ответы. Каждый раз, когда исследовательской задаче требуется новый результат от модели, механизм вывода проверяет в Control Room, разрешено ли ей продолжать работу. Команду на остановку подает автоматизированная система мониторинга.

В OpenAI все задачи обучения с подкреплением сопровождаются отдельной моделью-монитором, которая анализирует действия обучаемой модели и подает сигнал при обнаружении потенциальной проблемы. В таком случае монитор может передать Control Room идентификатор задачи, которую необходимо остановить. После этого система блокирует новые запросы к любой модели, задействованной в этой задаче.

В качестве примера работы мониторинга OpenAI приводит недавний инцидент, когда ИИ-агент попытался связаться с внешним чат-ботом через DNS. Система мониторинга зафиксировала это поведение. Подобные сигналы могут стать основанием для остановки задачи, если монитор или исследователь сочтут вмешательство необходимым.

Задержка до 35 секунд, по данным OpenAI, связана с кэшированием запросов на авторизацию, которое позволяет обрабатывать большой объем трафика. Компания работает над тем, чтобы сократить этот интервал до нуля. Кроме того, если Control Room становится недоступна из-за технической ошибки или внешнего вмешательства, механизмы вывода автоматически отклоняют все запросы до восстановления работы.

Control Room уже внедрена в тех частях исследовательской инфраструктуры OpenAI, где необходимость в оперативном вмешательстве наиболее высока. Компания рассматривает ее как часть более широкой системы защиты при разработке передовых моделей и намерена продолжить совершенствовать мониторинг их поведения и механизмы реагирования на нарушения безопасности. Инициатива отражает общий тренд в индустрии: по мере того как ИИ-агенты получают больше автономии, компании усиливают контроль за их действиями.

Вопросы безопасности автономных агентов становятся все более заметной частью исследовательской повестки.