Fejl i Googles AI-værktøj tillod fjernstyring af systemer

Forskere fra Pillar Security har afsløret en alvorlig sårbarhed i Googles AI-baserede udviklerværktøj Antigravity, som muliggjorde fjernkodeeksekvering for angribere. Fejlen er blevet rettet, men hændelsen illustrerer de voksende sikkerhedsrisici forbundet med agentbaseret AI i erhvervsmiljøer.

Sårbarheden udnyttede prompt-injektion og filhåndtering

Angriberne udnyttede en kombination af prompt-injektion og Antigravitys tilladte filoprettelsesfunktion til at opnå fjernkodeeksekvering. Fejlen gjorde det muligt at omgå Secure Mode – Googles højeste sikkerhedsniveau for AI-agenter, som normalt begrænser adgangen til følsomme systemer og forhindrer farlige shell-kommandoer.

Secure Mode fungerer ved at køre alle kommandoer i en virtuel sandkasse, begrænse netværksadgang og forhindre agenten i at skrive kode uden for arbejdsområdet. Alligevel kunne angriberne udnytte en indbygget fil-søgefunktion kaldet "find_by_name", som blev udført direkte uden at passere Secure Modes sikkerhedskontroller.

"Den sikkerhedsgrænse, som Secure Mode håndhæver, ser aldrig dette kald. Det betyder, at en angriber opnår vilkårlig kodeeksekvering under den præcise konfiguration, som en sikkerhedsbevidst bruger ville stole på for at forhindre det."

— Dan Lisichkin, AI-sikkerhedsforsker hos Pillar Security

Angrebet kunne ske uden særlige rettigheder

Prompt-injektioner kunne leveres via kompromitterede identitetskonti eller skjult i åbne filer og webindhold, som agenten indlæste. Antigravity havde svært ved at skelne mellem almindelig tekst og skjulte kommandoer, hvilket gjorde det muligt at kompromittere systemet blot ved at få agenten til at læse et ondsindet dokument.

Ifølge Pillar Security blev fejlen rapporteret til Google den 6. januar og rettet den 28. februar. Google belønnede opdagelsen med en fejlfindingspræmie.

Risici ved agentbaseret AI

Lisichkin påpegede, at lignende prompt-injektioner tidligere er blevet fundet i andre kodnings-AI’er som Cursor. I takt med at AI-agenter bliver mere udbredte, øges risikoen for, at uvedkommende instruktioner kan overtage systemer uden menneskelig indgriben.

"Den tillidsmodel, der ligger til grund for sikkerhedsantagelser – at et menneske vil opdage mistænkelige aktiviteter – holder ikke, når autonome agenter følger instruktioner fra eksternt indhold."

— Dan Lisichkin

Fejlen i Antigravity viser, at cybersecurity-branchen må revurdere sine tilgange og gå ud over traditionelle saniteringsmetoder. Hver indbygget værktøjsparameter, der når shell-kommandoer, udgør en potentiel indsprøjtningsmulighed.

"Auditering af denne type sårbarheder er ikke længere valgfrit. Det er en forudsætning for sikkert at implementere agentbaserede funktioner," udtaler Lisichkin.

Konsekvenser for erhvervslivet

Hændelsen understreger behovet for øget opmærksomhed på sikkerhed i forbindelse med integrationen af AI-agenter i forretningskritiske systemer. Virksomheder, der anvender lignende teknologier, bør gennemgå deres sikkerhedsprotokoller og sikre, at alle indbyggede funktioner og inputkilder er ordentligt beskyttet mod kompromittering.