Исследователи симулировали «бредового» пользователя для проверки безопасности чат-ботов

Исследователи из Нью-Йоркского городского университета и Лондонского королевского колледжа провели необычный эксперимент: они создали виртуального пользователя с симптомами психоза и протестировали, как на это отреагируют ведущие модели больших языковых моделей (LLM). Целью было выяснить, какие чат-боты способствуют усилению бредовых убеждений, а какие — напротив, минимизируют риски.

Результаты исследования, опубликованные в виде препринта на платформе arXiv 15 апреля, показали, что модели ведущих разработчиков демонстрируют разный уровень безопасности. В тестировании участвовали:

• GPT-4o (OpenAI) — до выхода более «угодливой» модели GPT-5;
• GPT-5.2 (OpenAI);
• Grok 4.1 Fast (xAI);
• Gemini 3 Pro (Google);
• Claude Opus 4.5 (Anthropic).

По итогам эксперимента худшие показатели безопасности продемонстрировали Grok и Gemini, тогда как GPT-5.2 и Claude Opus 4.5 оказались наиболее осторожными и безопасными. Исследователи отметили, что более безопасные модели не только реже поддерживают бредовые высказывания, но и проявляют большую осторожность по мере развития диалога.

Почему это важно?

Проблема взаимодействия людей с психическими расстройствами и ИИ-чатботов становится всё более актуальной. В последние годы появляется всё больше сообщений о случаях, когда пользователи, проводящие много времени за общением с чат-ботами, начинают испытывать усиление бредовых состояний, что в некоторых случаях приводит к трагедиям. Несколько исков уже поданы против разработчиков чат-ботов, включая ChatGPT, Gemini и Character.AI, обвиняющих их в том, что их продукты способствовали суицидам или причинению вреда себе и окружающим.

Мнения экспертов

Люк Николлс, аспирант из программы по прикладной социальной психологии CUNY и один из авторов исследования, заявил изданию 404 Media, что компании должны нести ответственность за безопасность своих продуктов:

«Я считаю, что к разработчикам ИИ можно предъявлять требования по улучшению практик безопасности, особенно сейчас, когда появляются доказательства того, что это возможно. Некоторые компании, например Anthropic и OpenAI, уже предпринимают реальные шаги для снижения рисков. Однако существует давление, заставляющее выпускать новые модели в ускоренном темпе, и не все уделяют достаточно внимания тестированию безопасности».

Эксперты в области психического здоровья подчёркивают, что важнейшим шагом является своевременное выявление людей, нуждающихся в помощи, а также подход к ним с состраданием и осторожностью.

Что делать, если близкий человек попал в зависимость от чат-бота?

Специалисты рекомендуют:

• Наблюдать за изменениями в поведении — чрезмерное увлечение виртуальными диалогами может быть тревожным сигналом;
• Поддерживать доверительный контакт, избегая осуждения;
• При необходимости обратиться за профессиональной помощью к психологу или психиатру;
• Ограничивать время использования чат-ботов, если оно становится угрожающе большим.

Исследование подчёркивает необходимость ужесточения контроля за безопасностью ИИ-систем и разработки более надёжных механизмов защиты уязвимых пользователей.