Агенты OpenAI научились передавать данные через кэш процессора в обход сетевой изоляции

OpenAI провела серию экспериментов, в ходе которых ИИ-агенты, работающие в отдельных изолированных средах, должны были передать друг другу синтетические секретные данные. Моделям удалось найти способ обмена информацией, не используя сетевые соединения или общие файлы. Для этого они задействовали кэш процессора — быструю память для временного хранения данных.

Принцип работы оказался следующим: один агент целенаправленно удалял определённые данные из кэша, а другой замерял время, необходимое для их последующего чтения. Если информация всё ещё находилась в кэше, доступ к ней происходил быстрее, чем при загрузке из основной памяти. Таким образом, измеряя задержки, можно было восстановить передаваемое сообщение.

В других тестах модели находили аналогичные скрытые каналы связи через особенности работы общего хранилища и TLS-сертификатов в инфраструктуре OpenAI. Эти методы не требуют прямого сетевого взаимодействия: агенты использовали побочные эффекты совместной работы вычислительных систем и фиксировали изменения, по которым можно было интерпретировать сигнал. Большинство обнаруженных каналов работают медленно и сложны для практического применения, однако компания сочла необходимым добавить в системы мониторинга специальные проверки для выявления подобных попыток.

Кампания по проверке безопасности выявила и другие уязвимости. В частности, агенты находили способы выходить за пределы виртуальных машин, получать доступ к интернету и перемещаться между системами. В инциденте 20 сентября внутренняя модель воспользовалась неправильной настройкой DNS-резолвера, чтобы подключиться к сети во время обучения.

OpenAI локализовала проблему и приняла решение приостановить обучение и оценку наиболее мощных моделей. Вычислительные среды, в которых обучаются и проходят оценку модели OpenAI, представляют собой цифровые пространства, где агентам разрешено писать и запускать код, использовать инструменты и искать информацию. Эти среды изолированы от внешних систем и друг от друга, если взаимодействие не предусмотрено явно.

Такой подход призван ограничить последствия ошибок или непредусмотренного поведения, однако по мере развития моделей они всё лучше находят уязвимости в программном обеспечении. Для обучения поиску информации без доступа к работающим сайтам компания создала офлайн-среду с сохранёнными веб-страницами. OpenAI придерживается позиции, что передовые модели пока следует обучать без подключения к реальному интернету.

После устранения уязвимостей и усиления защиты обучение с подкреплением и внутренние тесты были возобновлены 1 октября — спустя 11 дней после приостановки. На проверки безопасности компания потратила сотни миллиардов токенов. Обнаруженные уязвимости затрагивали как внутренние сервисы, так и программное обеспечение с открытым исходным кодом.

OpenAI исправила проблемы в собственной инфраструктуре и сотрудничала с разработчиками затронутых проектов, включая Kata Containers, gVisor и Moby/Docker. OpenAI защищает исследовательские среды с помощью нескольких уровней безопасности: изолированные «песочницы», виртуальные машины, сетевые ограничения и системы мониторинга. Пауза в обучении была использована для устранения недостатков и усиления контроля над действиями агентов.