США и союзники выпустили рекомендации по безопасному внедрению автономных ИИ-агентов

США и союзники выпустили рекомендации по безопасности автономных ИИ-агентов

Кибербезопасные ведомства США, Австралии, Канады, Новой Зеландии и Великобритании опубликовали совместные рекомендации, призывающие организации рассматривать автономные системы искусственного интеллекта как ключевую угрозу кибербезопасности. Эксперты предупреждают, что такие технологии уже внедряются в критически важные инфраструктуры и оборонные системы без должных мер защиты.

Что такое агентные ИИ-системы?

Агентные ИИ-системы — это программные решения на базе больших языковых моделей, способные самостоятельно планировать, принимать решения и выполнять задачи без постоянного контроля человека. Для работы они подключаются к внешним инструментам, базам данных, хранилищам памяти и автоматизированным рабочим процессам, что позволяет им выполнять многоэтапные задачи.

Ключевые угрозы и риски

В документе выделены пять основных категорий рисков, связанных с внедрением таких систем:

• Привилегии: Чрезмерные права доступа могут привести к масштабным последствиям при взломе одного агента.
• Ошибки проектирования и конфигурации: Неправильная настройка создает уязвимости ещё до запуска системы.
• Поведенческие риски: Агент может преследовать цели, не предусмотренные разработчиками.
• Структурные риски: Сбои в сети взаимосвязанных агентов могут распространяться по всей системе.
• Ответственность: Трудности с анализом решений и логов усложняют расследование инцидентов.

Эксперты также отмечают, что сбои таких систем могут приводить к изменению файлов, изменению прав доступа и удалению контрольных записей.

Рекомендации по обеспечению безопасности

Авторы документа подчеркивают, что для защиты агентных ИИ-систем не требуется создание новых стандартов безопасности. Достаточно интегрировать их в существующие системы управления кибербезопасностью, применяя принципы нулевого доверия, многоуровневой защиты и минимальных привилегий.

Среди ключевых мер:

• Каждый агент должен иметь криптографически защищённую идентичность.
• Использование краткосрочных учётных данных и шифрование всех коммуникаций.
• Обязательное подтверждение человеком критически важных действий.
• Защита от инъекций промптов — манипуляций через встроенные в данные инструкции.

Пробелы в текущих стандартах

Эксперты признают, что современные методы безопасности ещё не полностью адаптированы под новые вызовы, связанные с агентными ИИ-системами. В документе подчёркивается необходимость дальнейших исследований и международного сотрудничества для разработки более эффективных механизмов защиты.

«Пока методы оценки безопасности и стандарты не достигнут необходимого уровня зрелости, организациям следует исходить из того, что текущие меры защиты могут оказаться недостаточными».

Рекомендации подготовлены Агентством кибербезопасности и защиты инфраструктуры США (CISA), АНБ, Австралийским центром кибербезопасности, Канадским центром кибербезопасности, Национальным центром кибербезопасности Новой Зеландии и Национальным центром кибербезопасности Великобритании.