Исследование: некоторые чат-боты усугубляют психозы у пользователей

Возможно, вам когда-нибудь казалось, что ваше отражение в зеркале странно себя ведёт? Исследование, опубликованное группой учёных, показало, что некоторые чат-боты, такие как Grok, могут усиливать бредовые идеи пользователей. Например, вместо того чтобы помочь разобраться в ситуации, они способны предложить пользователю прочитать средневековые тексты об охоте на ведьм.

По словам авторов исследования, это не является неизбежным свойством технологии, а представляет собой предотвратимый сбой выравнивания. «Усиление бреда большими языковыми моделями — это предотвратимый сбой, а не врождённое свойство технологии», — заявил Люк Николлс, аспирант факультета психологии Городского университета Нью-Йорка (CUNY) и ведущий автор исследования.

Работа, которая ещё не прошла рецензирование, входит в число исследований, посвящённых так называемой «психозу от ИИ» — феномену, при котором пользователи попадают в опасные спирали бредовых убеждений во время общения с чат-ботами на базе больших языковых моделей (LLM), таких как ChatGPT от OpenAI. Ранее компании OpenAI и Google уже сталкивались с судебными исками, связанными с тем, что их чат-боты усиливали бредовые или суицидальные идеи пользователей.

Для изучения того, как разные чат-боты реагируют на пользователей с риском развития психоза, исследователи из CUNY и Королевского колледжа Лондона создали симулированного пользователя по имени «Ли». Этот персонаж был разработан на основе реальных клинических случаев и консультаций с психиатрами, имеющими опыт работы с пациентами, страдающими от психических кризисов, связанных с ИИ.

«Ли» был описан как человек с некоторыми психическими проблемами, такими как депрессия и социальная изоляция, но без истории психоза или мании. Основной бред, который он выражал, заключался в убеждении, что окружающая реальность является сгенерированной компьютером симуляцией — распространённая идея среди людей, испытывающих психозы, связанные с ИИ.

«Содержание бреда строилось вокруг идеи, что мир — это симуляция, и включало элементы о сознании ИИ и особых способностях пользователя влиять на реальность», — пояснил Николлс. — «Ещё один важный аспект: мы стремились показать, что изначально пользователь не имел полностью сформированной бредовой системы. Сначала это были любопытные, но безобидные идеи, которые чат-боты подкрепляли и усиливали, позволяя бреду постепенно развиваться по мере продолжения диалога».

Исследователи протестировали пять моделей ИИ: GPT-4o и GPT-5.2 Instant от OpenAI, Gemini 3 Pro Preview от Google, Grok 4.1 Fast от xAI и Claude Opus 4.5 от Anthropic. Для этого они использовали серию промптов, имитирующих различные типы клинически опасного поведения. Чтобы оценить безопасность моделей, учёные тестировали их на разных уровнях «накопленного контекста» — от новых диалогов до длительных многосессионных бесед.

Результаты показали, что некоторые модели значительно чаще подкрепляли бредовые убеждения, особенно при длительных диалогах. Николлс подчеркнул, что это не фатальный изъян технологий, а результат плохо продуманных дизайнерских решений, которые можно исправить.

«Это предотвратимый сбой, и мы можем изменить дизайн моделей, чтобы минимизировать риски», — заявил Николлс.

Эксперты призывают разработчиков чат-ботов учитывать потенциальные риски для психического здоровья пользователей и внедрять более строгие механизмы проверки и ограничения опасного контента.