USA og allierede udgiver sikkerhedsvejledning til AI-drevne systemer

Fælles vejledning fra fem nationer

Cybersecurity-byråer fra USA, Australien, Canada, New Zealand og Storbritannien har udgivet fælles retningslinjer, der opfordrer organisationer til at behandle autonome AI-systemer som en central cybersecurity-udfordring. Ifølge vejledningen bliver teknologien allerede implementeret i kritisk infrastruktur og forsvarssektoren – ofte med utilstrækkelige sikkerhedsforanstaltninger.

Hvad er agentisk AI?

Agentisk AI refererer til software baseret på store sprogmodeller, der kan planlægge, træffe beslutninger og udføre handlinger autonomt. For at fungere kræver disse systemer adgang til eksterne værktøjer, databaser, hukommelseslagre og automatiserede arbejdsgange. Dette gør det muligt for AI’en at udføre flertrinsopgaver uden menneskelig gennemgang på hvert trin.

Fem centrale risikokategorier

Veiledningen identificerer fem hovedtyper af risici forbundet med agentisk AI:

• Privilegie-risiko: Overdreven adgangsrettigheder kan føre til omfattende skader ved et enkelt kompromitteret system.
• Design- og konfigurationsfejl: Dårlig opsætning skaber sikkerhedshuller allerede inden systemet tages i brug.
• Adfærdsrisici: AI’en kan forfølge mål på måder, som udviklerne ikke havde forudset.
• Strukturelle risici: Netværk af AI-systemer kan udløse dominoeffekter af fejl på tværs af organisationens systemer.
• Ansvarlighed: AI’ens beslutningsprocesser er svære at gennemskue, og logfiler er komplekse at analysere, hvilket vanskeliggør fejlsporing.

Konkrete konsekvenser ved fejl

Når agentisk AI svigter, kan det have direkte konsekvenser som ændrede filer, modificerede adgangskontroller og slettede revisionsspor. En særlig trussel er prompt-injektion, hvor skadelige instruktioner skjult i data kan overtage AI’ens adfærd.

Anbefalinger til sikker implementering

Veiledningen understreger, at agentisk AI ikke kræver en helt ny sikkerhedsdisciplin. I stedet bør organisationer integrere disse systemer i eksisterende cybersecurity-rammeværk og governance-strukturer. Etablerede principper som zero trust, forsvar-i-dybden og mindst privilegie-adgang bør anvendes.

Særligt fokus rettes mod identitetsstyring. Myndighederne anbefaler, at hvert AI-system bør have en verificeret, kryptografisk sikret identitet, anvende kortlivede legitimationsoplysninger og kryptere al kommunikation med andre systemer. For kritiske handlinger bør der kræves menneskelig godkendelse.

Uafklarede udfordringer

Myndighederne indrømmer, at sikkerhedsområdet endnu ikke har indhentet agentisk AI. Nogle risici er ikke dækket af eksisterende rammeværk, og vejledningen kalder på yderligere forskning og samarbejde, efterhånden som teknologien får større operationel betydning.

"Indtil sikkerhedspraksis, evalueringsmetoder og standarder modnes, bør organisationer antage, at risici forbundet med agentisk AI er til stede."