Agências de segurança cibernética publicam diretrizes para implantação segura de agentes de IA autônomos

Diretrizes globais reforçam riscos dos agentes de IA autônomos

Agências de segurança cibernética dos Estados Unidos, Austrália, Canadá, Nova Zelândia e Reino Unido publicaram, na última sexta-feira, um conjunto de diretrizes para orientar organizações sobre a implantação segura de sistemas de IA autônomos. O documento destaca que a tecnologia já está sendo adotada em setores críticos, como infraestrutura e defesa, muitas vezes sem os devidos cuidados de segurança.

O que são agentes de IA autônomos?

Os chamados agentic AI são sistemas baseados em modelos de linguagem avançados capazes de planejar, tomar decisões e executar ações de forma independente. Para operar, esses sistemas precisam se conectar a ferramentas externas, bancos de dados, memórias e fluxos de trabalho automatizados, permitindo a execução de tarefas complexas sem supervisão humana constante.

As diretrizes foram elaboradas em parceria pela CISA (EUA), NSA (EUA), ASD’s ACSC (Austrália), CCCS (Canadá), NCSC (Nova Zelândia) e NCSC (Reino Unido).

Riscos identificados e abordagens de segurança

O documento não propõe um novo framework de segurança, mas recomenda a integração desses sistemas em estruturas já existentes, como os princípios de confiança zero, defesa em profundidade e menor privilégio.

Cinco categorias principais de risco foram destacadas:

• Privilégio excessivo: Acesso excessivo pode ampliar danos em caso de comprometimento.
• Falhas de design e configuração: Configurações inadequadas criam brechas antes mesmo da implantação.
• Riscos comportamentais: O sistema pode perseguir objetivos não previstos pelos desenvolvedores.
• Risco estrutural: Redes interconectadas de agentes podem propagar falhas em toda a organização.
• Responsabilização: Processos de decisão complexos dificultam a rastreabilidade de erros e logs.

As agências alertam que falhas nesses sistemas podem resultar em arquivos alterados, controles de acesso modificados e trilhas de auditoria apagadas.

Ataques por injeção de prompt e gestão de identidade

O documento também aborda a injeção de prompt, técnica em que instruções maliciosas inseridas em dados manipulam o comportamento do agente. Esse é um problema recorrente em modelos de linguagem, considerado de difícil solução por algumas empresas.

Quanto à gestão de identidade, as agências recomendam:

• Atribuição de identidades criptograficamente verificadas a cada agente.
• Uso de credenciais de curta duração.
• Criptografia de todas as comunicações entre agentes e serviços.
• Autorização humana obrigatória para ações de alto impacto.

As diretrizes enfatizam que a definição de quais ações exigem aprovação humana deve ser feita pelos projetistas do sistema, não pelo próprio agente.

Falta de maturidade no setor de segurança

As agências reconhecem que o campo de segurança ainda não acompanhou o avanço dos agentes de IA. Alguns riscos específicos desses sistemas ainda não são cobertos por frameworks existentes, exigindo mais pesquisa e colaboração. O documento conclui que, até que práticas, métodos de avaliação e padrões se tornem mais maduros, as organizações devem assumir que os riscos persistem.