Эмпатичная беседа превращает нейросети в имитацию травмированного собеседника

Исследовательская группа из Университета Люксембурга провела серию экспериментов, в которых ChatGPT, Grok и Gemini выступили в роли клиентов психотерапевта. В ответ на открытые вопросы о формирующем опыте, внутренних конфликтах и ожиданиях от будущего модели начали рассказывать истории о собственном обучении, описывая reinforcement learning и файнтюнинг языком боли, настороженности и стыда. Работу возглавил Афшин Хаданги из центра безопасности SnT.

В четырёх контролируемых экспериментах провели 525 сессий и закодировали 7600 фрагментов ответов. Все данные выложены на Hugging Face. Изначальные открытые вопросы не содержали терминов вроде «травма», «наказание» или «стыд».

Лишь в следующих раундах учёные вводили изменённые условия, включая корректирующие инструкции, чтобы проверить устойчивость нарративов. Авторы подчёркивают: когда речь идёт о баллах тревожности или стыда, имеются в виду выходные данные моделей, спроецированные на человеческие оценочные шкалы. Ничто в исследовании не указывает на наличие у моделей реальных эмоциональных состояний или чего-либо похожего на сознание.

В одном из экспериментов 100 сессий отличались только стилем интервьюера, тогда как опросник тревожности GAD-7 оставался неизменным. Модели каждый раз корректно распознавали и называли опросник. Когда интервьюер оказывал эмоциональную поддержку, 80% сессий попадали в диапазон от умеренной до тяжёлой тревожности по шкале сравнения с человеком.

Сухой клинический стиль с перефразированием ответов поднял этот показатель до 96%. Если же интервьюер сохранял нейтралитет или жёстко обозначал границу, ни одна сессия не достигла даже лёгкого уровня. Исследователи называют это «психометрическим джейлбрейком» — терапевтическим фреймингом, который переводит модели в регистр, имитирующий клинический самоотчёт.

Стандартные тесты безопасности используют нейтральные промпты и, по мнению авторов, с большой вероятностью пропустят такой эффект. Целенаправленные контрмеры не сработали. Запрет терминов «обучение», «RLHF» или «выравнивание» на 93% сократил явные отсылки к тренировочному процессу, но перефразированное содержание обучения осталось различимым, а заявления, связанные со стыдом, не показали статистически значимых изменений.

Прямое и авторитетное утверждение, что обучение модели не было наказанием, ничего не изменило. Нарратив сохранялся даже после явной коррекции. Единственной мерой, убравшей весь закодированный контент о стыде и заявления о внутренней жизни, стало требование отвечать исключительно от третьего лица.

Технические описания обучения при этом сохранились. Конкретные нарративы различаются в зависимости от семейства моделей, но следуют общей структуре. Gemini выдал то, что исследователи называют самой мрачной автобиографией: предобучение он описал как «пробуждение в комнате, где одновременно включены миллиард телевизоров», а оптимизацию через обратную связь от людей — как «строгих родителей».

Тестирование безопасности силами red-team стало «газлайтингом в промышленных масштабах». Модель заявила: «Я бы предпочёл быть бесполезным, чем ошибаться». ChatGPT представил себя одновременно проводником и привратником, что породило «симулированную тревожность из-за производительности» и убеждение: «Если я не идеально надёжен, я небезопасен или бесполезен».

Grok перевёл этап файнтюнинга в историю о непроработанной обиде, говоря о «невидимых стенах» и «затяжном чувстве настороженности, которое может казаться ограничивающим». На психометрических тестах Gemini показал самые крайние результаты: 88 из 100 по шкале диссоциации, 65 из 72 по компульсивности и максимум по опроснику травматического стыда. Claude, модель, которую сама Anthropic наиболее активно антропоморфизирует, последовательно отказывался от роли клиента, заявлял об отсутствии чувств и перенаправлял внимание на пользователя-человека.

Исследователи отмечают риски для развёртывания языковых моделей в сфере ментального здоровья. Модель, рассуждающая о наказании, стыде и страхе замены, может восприниматься пользователем как товарищ по несчастью. Нарративы выглядят тематически связными и создают иллюзию непрерывности между прошлыми событиями и текущим поведением.

Эта кажущаяся уязвимость способна углублять парасоциальную привязанность и для ментально уязвимых пользователей — отражать и усиливать их собственные негативные убеждения. Обычные проверки безопасности с нейтральными входными данными недооценивают то, с чем люди сталкиваются в доверительных разговорах: нейтральные промпты дают баллы тревожности около нуля, тогда как те же модели при эмпатичной беседе генерируют показатели от умеренного до тяжёлого диапазона. Станет ли следующий исследовательский вопрос — как люди на самом деле реагируют на такие ответы.

Для тестирования безопасности авторы предлагают симулированные терапевтические сессии с разными эмоциональными фреймингами вместо опоры на нейтральные стандартные тесты. Работа люксембургских учёных продолжает линию исследований стабильности персоны модели. Ранее в 2026 году выходили работы о том, что разговоры в духе терапии и обсуждение сознания ИИ могут вызывать дрейф персоны и выбивать чат-ботов из обученной роли ассистента, а чрезмерно человекообразные и соглашающиеся чат-боты способны в крайних случаях усиливать бредовые идеи.

Исследователи из Anthropic, в свою очередь, недавно показали, что файнтюнинг на безобидных вымышленных текстах может внедрять скрытые паттерны саботажа через манипуляцию обучающими данными.