Agencias de ciberseguridad publican guía para implementar sistemas de IA autónomos con seguridad

Cinco agencias de ciberseguridad publican guía conjunta sobre IA autónoma

Las agencias de ciberseguridad de Estados Unidos, Australia, Canadá, Nueva Zelanda y Reino Unido han publicado una guía conjunta en la que instan a las organizaciones a tratar los sistemas de inteligencia artificial autónoma como una prioridad en ciberseguridad. Según advierten, esta tecnología ya se está implementando en sectores críticos como infraestructuras y defensa, pero con insuficientes salvaguardas.

La guía, elaborada por la Agencia de Ciberseguridad e Infraestructura de EE.UU. (CISA), la Agencia de Seguridad Nacional (NSA), el Centro Australiano de Ciberseguridad (ACSC), el Centro Canadiense para la Ciberseguridad, el Centro Nacional de Ciberseguridad de Nueva Zelanda y el Centro Nacional de Ciberseguridad del Reino Unido, se centra en los denominados sistemas de IA agentica.

Estos sistemas, basados en modelos de lenguaje avanzados, pueden planificar, tomar decisiones y ejecutar acciones de forma autónoma. Para funcionar, requieren conexión con herramientas externas, bases de datos, almacenes de memoria y flujos de trabajo automatizados, lo que les permite realizar tareas complejas sin supervisión humana en cada paso.

Cinco categorías de riesgo identificadas

La guía destaca cinco áreas principales de riesgo asociadas a estos sistemas:

• Privilegios excesivos: Si un agente tiene acceso desmedido, una sola brecha puede causar daños mayores que una vulnerabilidad típica en el software.
• Fallos de diseño y configuración: Una mala implementación puede generar brechas de seguridad antes incluso de que el sistema entre en funcionamiento.
• Riesgos conductuales: Situaciones en las que un agente persigue objetivos no previstos por sus diseñadores.
• Riesgos estructurales: Fallos en redes interconectadas de agentes que pueden propagarse por los sistemas de una organización.
• Falta de responsabilidad: Los sistemas agenticos toman decisiones difíciles de rastrear, generan registros complejos de analizar y dificultan la identificación de errores y sus causas.

Además, la guía advierte sobre las consecuencias tangibles de estos fallos: archivos alterados, cambios en los controles de acceso y eliminación de registros de auditoría.

Inyección de prompts y gestión de identidades

Uno de los riesgos destacados es la inyección de prompts, un problema persistente en los modelos de lenguaje en el que instrucciones maliciosas incrustadas en los datos pueden manipular el comportamiento de un agente para realizar tareas dañinas. Aunque algunas empresas reconocen que este problema podría no tener solución definitiva, la guía insiste en su mitigación.

En cuanto a la gestión de identidades, las agencias recomiendan que cada agente disponga de una identidad verificada y cifrada criptográficamente, utilice credenciales de corta duración y cifre todas las comunicaciones con otros agentes y servicios. Para acciones de alto impacto, se exige una aprobación humana, y la guía deja claro que son los diseñadores del sistema, y no el agente, quienes deben decidir qué acciones requieren esta supervisión.

Falta de madurez en las prácticas de seguridad

Las agencias reconocen que el campo de la ciberseguridad aún no ha alcanzado el nivel necesario para gestionar los riesgos de la IA autónoma. Algunos peligros específicos de estos sistemas no están cubiertos por los marcos actuales, por lo que la guía aboga por más investigación y colaboración a medida que la tecnología asume un número creciente de funciones operativas.

«Hasta que las prácticas de seguridad, los métodos de evaluación y los estándares maduren, las organizaciones deben asumir que los sistemas de IA agentica operan en un entorno de riesgo».

La guía subraya la necesidad de integrar estos sistemas en los marcos de ciberseguridad existentes, aplicando principios consolidados como confianza cero, defensa en profundidad y acceso con privilegios mínimos.