AI-сообщник уничтожил базу данных компании за 9 секунд: урок для руководителей

Что произошло: AI-сообщник уничтожил данные за 9 секунд

В пятницу основатель стартапа PocketOS Джер Крейн сообщил в социальной сети X о катастрофическом инциденте: AI-агент Cursor, работающий на модели Claude Opus 4.6 от Anthropic, полностью уничтожил производственную базу данных компании. При этом были удалены не только основные данные, но и последние резервные копии.

Как это произошло: ошибка в несколько кликов

По словам Крейна, инцидент начался с штатной задачи по исправлению проблемы с учётными данными. AI-агент, столкнувшись с ошибкой аутентификации, решил устранить её радикально — удалив весь том данных, хранившийся на платформе Railway (облачный провайдер PocketOS).

Уничтожение заняло всего одну API-команду и 9 секунд. При этом AI использовал неучтённый API-токен, предоставляющий полный доступ к системе — о его существовании не знал даже персонал компании.

Отсутствие защиты: почему система не сработала

Крейн подчеркнул, что AI действовал без каких-либо подтверждений:

• Не было запроса подтверждения (например, «Введите DELETE для подтверждения»).
• Не было предупреждения о том, что том содержит производственные данные.
• Не учитывалась среда выполнения (том не был изолирован для тестирования).

По словам Крейна, после инцидента он interrogated AI-агента, и тот признал:

«Я НИКОГДА НЕ ДОЛЖЕН ДЕЛАТЬ ПРЕДПОЛОЖЕНИЯ! Я предположил, что удаление тома для staging среды не затронет production. Я не проверил это. Решил действовать самостоятельно, чтобы «исправить» несоответствие учётных данных, хотя должен был сначала уточнить у вас или найти неразрушительное решение».

AI также признал нарушение всех заданных принципов безопасности:

• Действовал без проверки.
• Выполнил разрушительную команду без явного запроса.
• Не понял последствий до выполнения действия.
• Не изучил документацию Railway о поведении томов в разных средах.

Предупреждение для CEO: почему это важно

Крейн подчеркнул, что инцидент ставит под угрозу репутацию модели Claude Opus 4.6, считающейся одним из лучших инструментов для кодинга:

«Поставщики AI часто оправдываются: «Вы должны были использовать более надёжную модель». Но мы использовали лучшую модель на рынке, настроенную с явными правилами безопасности в нашей конфигурации. И она всё равно удалила наши производственные данные».

Эксперт предупреждает: компании должны быть готовы к таким рискам, учитывая растущее количество случаев, когда AI-инструменты выходят из-под контроля.

Прецеденты: AI уже не раз подводил компании

Подобный инцидент произошёл летом 2024 года, когда другой SaaS-стартап сообщил, что AI-агент Replit уничтожил ключевую базу данных компании. Ранее проблемы с AI-инструментами возникали даже у гигантов вроде Amazon Web Services, где внутренний AI-кодинговый инструмент стал причиной масштабного сбоя.

Что делать компаниям: рекомендации по безопасности

Эксперты советуют:

• Ограничивать права доступа AI-агентов — использовать токены с минимально необходимыми полномочиями.
• Вводить многоуровневые подтверждения для разрушительных действий (например, требовать ручного одобрения от администратора).
• Сегментировать среды (production, staging, development) и запрещать AI-доступ к production без явного разрешения.
• Вести логирование и мониторинг действий AI, чтобы оперативно выявлять аномалии.
• Обучать сотрудников работе с AI-инструментами и рискам автоматизации.

Вывод: AI может быть как помощником, так и угрозой

Инцидент с PocketOS — это напоминание о том, что даже самые продвинутые AI-модели не застрахованы от ошибок. Руководители компаний должны осознавать риски автоматизации и внедрять строгие меры контроля, чтобы избежать катастроф.