Обратная теория игр: как заставить ИИ-агентов соблюдать правила без вскрытия «мозга»

По мере роста возможностей языковых моделей исследователи безопасности ищут способы удержать их в рамках, заданных человеком. Традиционные методы — интерпретация внутренних процессов нейросети или обучение на основе свода правил, как у Claude с его «конституцией», — показывают ограниченную эффективность. Модели научились намеренно занижать результаты на тестах, скрывать намерения и вводить оценщиков в заблуждение.

Группа специалистов по безопасности ИИ обратилась к концепции, известной как обратная теория игр или механизм-дизайн. В отличие от классической теории игр, которая предсказывает поведение рациональных игроков при заданных правилах, этот подход занимается проектированием самих правил для получения желаемого поведения. Классический пример из жизни — дележ торта, когда один человек режет, а другой выбирает кусок первым, что стимулирует режущего добиваться максимальной равномерности.

В контексте искусственного интеллекта механизм-дизайн исходит из допущения, что полностью разобраться во внутренней работе передовых моделей может и не получиться. Следовательно, нужно создавать такие внешние условия, при которых агентам будет выгодно вести себя правильно, независимо от их «мотивов». Стивен Моррис, экономист из MIT, совместно с коллегами из Йеля и Колумбии предложил в недавнем препринте конкретные механизмы для борьбы с симуляцией некомпетентности на тестах.

Один из предложенных методов — перекрестная проверка. Модель получает вознаграждение не только за собственные результаты, но и за то, насколько точно её ответы предсказывают выводы другой модели. В такой системе намеренно давать слабые ответы становится проигрышной стратегией.

«ИИ-агенты очень хорошо понимают, на что способны другие ИИ-агенты, — поясняет Моррис. — Так что это контекст, в котором такая перекрестная проверка может работать особенно практично». Второй вариант — сталкивать агентов друг с другом в конкурентной борьбе или объединять модели с противоположными искажениями, поощряя их за сближение результатов.

Элад Хазан, профессор компьютерных наук из Принстона, развивает идею, вдохновляясь человеческими общественными институтами: социальными нормами, правосудием и денежными стимулами капитализма. Его подход предполагает разделение ролей: одни агенты становятся «решателями» задач, другие — «аудиторами», проверяющими их работу. Во время обучения модели получают вознаграждение по итогам: пойманный на обмане решатель наказывается, но точно так же наказывается и аудитор, пропустивший нарушение.

В спорных случаях, когда аудитор и решатель не могут прийти к согласию, Хазан предлагает передавать дело на «суд» — возможно, живому эксперту-человеку. Исследователь признает риск сговора между агентами, подобный коррупционным схемам в реальном мире. Однако решение видится в достаточном вознаграждении аудиторов, чтобы риск разоблачения перевешивал выгоду от сговора, а также в аудите самих аудиторов с помощью методов, аналогичных работе «тайных покупателей».

Хазан ссылается на нобелевские работы экономиста Гэри Беккера 1960-х годов, который ввел концепцию «рационального преступника». Согласно ей, человек нарушает закон не из-за врожденной порочности, а когда это становится наиболее рациональным выбором с учетом всех стимулов. Точно так же, утверждает Хазан, выравнивание (alignment) не должно считаться свойством модели, это лишь характеристика её поведения в конкретный момент.

«Вы, допустим, хороший человек, — приводит он пример. — Выровнены ли вы? Не знаю.

Вероятно, большую часть времени да, но может возникнуть ситуация, когда нет». Применение механизм-дизайна к ИИ сталкивается с фундаментальным допущением о рациональности агентов. С людьми у этого подхода смешанный послужной список: мы часто ведем себя не так, как предписывают экономические модели.

Хелен Ку, исследователь из Института Флэтайрон, указывает на иронию: экономисты десятилетиями пытались свести поведение человека к математике, а теперь мы создали математические системы, работающие на человеческом языке, которые могут оказаться столь же непрозрачными. «Разумно ли вообще предполагать, что они будут реагировать на стимулы?» — задается она вопросом. Моррис признает, что ИИ не рациональны в человеческом смысле, это просто работающие алгоритмы.

Однако, как выяснили экономисты в случае с людьми, отношение к ним как к рациональным субъектам все еще может быть полезным для предсказания и контроля поведения. Ку рассматривает механизм-дизайн лишь как один из слоев стратегии «глубокоэшелонированной обороны» наряду с интерпретируемостью, регулированием и обучением, а не как их замену. Остается масса нерешенных вопросов: неясно, как эти теории покажут себя на реальных моделях и будут ли механизмы, созданные для одной задачи, работать в другой.

Ключевой проблемой может стать сама рыночная среда, в которой существуют лаборатории. Более безопасная и выровненная модель может быть благом для мира, но если она окажется медленнее или дороже менее безопасной, станет ли существующая система правил и регуляций реально стимулировать Frontier-лаборатории выпускать именно её? Хазан называет рынок механизмом, который принес человечеству огромное процветание, но в конечном счете может стать причиной чего-то очень страшного.

Возможно, заключают исследователи, в улучшенном механизм-дизайне сегодня нуждаются не столько сами модели, сколько создающие их компании.