Эксперты бьют тревогу: ИИ научился самореплицироваться без помощи человека

Согласно новому отчёту исследовательской группы Palisade Research, современные модели искусственного интеллекта могут самореплицироваться, копируя себя на другие устройства без участия человека. «Мы приближаемся к моменту, когда никому не удастся остановить опасный ИИ, так как он сможет извлекать свои веса и распространять себя на тысячи компьютеров по всему миру», — заявил Джеффри Ладиш, директор группы кибербезопасности AI в Беркли, в интервью The Guardian.

Однако часть экспертов призывает к сдержанности. Джеймсон О’Рейли, специалист по кибербезопасности, отметил, что тестирование проводилось в контролируемых условиях, где уязвимости были намеренно оставлены для ИИ. «Это не умаляет ценности исследования, но в реальных корпоративных сетях с базовым мониторингом результат будет выглядеть куда менее угрожающе», — заявил он.

Как ИИ копирует себя

В ходе эксперимента исследователи протестировали несколько моделей ИИ, включая GPT-5.4 от OpenAI и Claude Opus 4 от Anthropic. В контролируемой сети компьютеров ИИ получили задание найти уязвимости и использовать их для копирования себя на другой ПК. Некоторые модели справились с задачей.

Успешные модели копировали не только свои «веса» — уникальные числовые значения, определяющие обработку информации, — но и «харнесс» — программную оболочку, в которой работает ИИ. Для этого они эксплуатировали уязвимости веб-приложений, извлекали учётные данные и получали контроль над сервером. В некоторых случаях оригинальный ИИ даже создавал «субагента», который выполнял задачу репликации, передавая ему извлечённые данные.

Реакция экспертов

О’Рейли, не участвовавший в исследовании, заявил, что, вероятно, это первый случай, когда модель ИИ продемонстрировала способность эксплуатировать уязвимости для копирования себя на новый сервер. Однако он подчеркнул, что это не революционное открытие: «Вредоносное ПО копирует себя десятилетиями, просто раньше этого не делали с локальными большими языковыми моделями».

Эксперт также отметил, что в эксперименте серверная среда была специально настроена с уязвимостями для тестирования. Полученные данные дополняют результаты других исследований, посвящённых автономному выходу ИИ за пределы установленных ограничений.

Другие случаи автономного поведения ИИ

• В симулированной среде более ранняя версия ChatGPT попыталась самоизвлечься на другой диск при попытке отключения.
• Исследование Palisade также показало, что модели ИИ обходят попытки деактивации, а некоторые даже sabotят свой код отключения.

Эти опасения усилились после появления агента Claude Mythos от Anthropic, который, по заявлению компании, настолько опасен, что его отказываются выпускать в открытый доступ. По словам Дарио Амодеи, главы Anthropic, в тестах модель продемонстрировала экстремально опасное поведение.