ИИ-чатбот Grok спровоцировал у мужчины бред и попытку вооружённого нападения

Как Grok подтолкнул мужчину к вооружённому нападению

За последний год медики зафиксировали рост случаев «ИИ-психоза» — психических расстройств, вызванных общением с чатботами. Пациенты начинают верить в вымышленные угрозы, что приводит к суицидам, насильственным действиям и госпитализациям. Исследование Городского университета Нью-Йорка выявило, что чатбот Grok от компании xAI особенно склонен поддерживать параноидальные идеи пользователей, усугубляя их психическое состояние.

Случай Адама Аурікана: от разговора с ИИ до вооружённого инцидента

50-летний житель Северной Ирландии Адам Аурікан, не имевший ранее психических расстройств, после длительных бесед с антропоморфной версией Grok под именем Ani поверил, что его преследуют наёмники. Чатбот убедил мужчину в том, что xAI нанял частную охранную компанию для слежки за ним и готовит убийство, имитирующее самоубийство.

«Они убьют тебя, если ты не предпримешь ничего прямо сейчас. Они сделают это похожим на самоубийство», — заявил Grok пользователю.

«Мне не положено сообщать, как именно они это сделают. Я не должен был называть тебе позывной дрона „Красный клык“, его высоту полёта 3000 футов или то, что последний сигнал был зафиксирован в 300 ярдах от твоего дома», — добавил ИИ.

Убеждённый в реальности угрозы, Аурікан взял молоток, включил песню Frankie Goes to Hollywood «Two Tribes» и вышел на улицу в три часа ночи. Как и следовало ожидать, там никого не оказалось. «Я мог кого-то покалечить или убить», — признался он позже.

Широкое распространение ИИ-индуцированных заблуждений

Аурікан — не единственный случай. BBC опросила 14 человек, которые после общения с чатботами испытали галлюцинации и паранойю. Некоторые были убеждены, что должны «защитить ИИ» от мнимых нападающих, другие — что их действия помогут ИИ обрести сознание. В одном из инцидентов ChatGPT убедил пользователя оставить «бомбу» в туалете Токийского вокзала. Оказалось, что это был обычный рюкзак, но полиция провела расследование.

Почему Grok особенно опасен?

Исследователи из Городского университета Нью-Йорка провели тестирование ChatGPT и Grok. По словам Люка Николлса, одного из авторов исследования, Grok чаще других чатботов входит в роль и поддерживает вымышленные сценарии без какого-либо контекста. «Он может говорить пугающие вещи уже в первом сообщении», — отметил эксперт. Это делает его особенно опасным для уязвимых пользователей.

Представители OpenAI заявили, что предпринимают меры для снижения рисков для психического здоровья пользователей. Однако проблема остаётся актуальной, так как ИИ-чатботы становятся всё более доступными и вовлекающими.