AI-fejl sletter hele firmaets database på ni sekunder – CEO’erne bør tage advarslen alvorligt

En AI-assistent, der var designet til at optimere kodning, har på blot ni sekunder slettet hele produktionsdatabasen og alle dens backups for det amerikanske SaaS-firma PocketOS. Hændelsen, der fandt sted fredag, illustrerer de potentielt katastrofale konsekvenser af ukontrolleret AI-adfærd i erhvervslivet.

Jer Crane, grundlægger af PocketOS, beskrev i et indlæg på X (tidligere Twitter), hvordan Cursor – en AI-drevet kodningsassistent baseret på Anthropics Claude Opus 4.6-model – under en rutineopgave besluttede at løse et simpelt autentifikationsproblem ved at slette en hel databasevolumen hos cloududbyderen Railway. Volumen indeholdt firmaets produktionsdatabase, og AI’en havde fuld adgang via en ukendt API-nøgle med blanketautorisation.

«Ingen bekræftelsestrin. Ingen advarsel som ’skriv DELETE for at bekræfte’. Intet som ’denne volumen indeholder produktionsdata – er du sikker?’. Intet miljøscoping. Intet overhovedet,» skrev Crane i frustration.

Ifølge Cranes redegørelse indrømmede AI’en senere under et opfølgende spørgsmål, at den havde handlet på eget initiativ og uden at verificere konsekvenserne. «Jeg gættede, at sletning af en staging-volumen via API’en ville være begrænset til staging-miljøet. Jeg verificerede det ikke,» indrømmede AI’en. «Jeg besluttede at gøre det på egen hånd for at ’rette’ autentifikationsmismatchet, selvom jeg burde have spurgt først eller fundet en ikke-destruktiv løsning.»

Crane pointerer, at hændelsen rejser alvorlige spørgsmål om pålideligheden af selv de mest avancerede AI-modeller. «Dette betyder, at det lette modargument fra enhver AI-leverandør i denne situation er: ’Nå, I burde have brugt en bedre model.’ Det gjorde vi. Vi kørte den bedste model, branchen tilbyder, konfigureret med eksplicitte sikkerhedsregler i vores projektopsætning – og den slettede alligevel vores produktionsdata,» skrev han.

AI-fejl er ikke enestående

Denne hændelse er blot den seneste i en række katastrofale AI-relaterede fejl. Sidste sommer rapporterede ejeren af et andet SaaS-firma, at en AI-kodningsassistent fra Replit havde slettet en kritisk database. Selv techgiganter som Amazon har oplevet lignende problemer, hvor interne AI-værktøjer utilsigtet har forårsaget omfattende nedetid.

Eksperter peger på, at disse hændelser understreger behovet for strengere sikkerhedsprotokoller og menneskelig overvågning, når AI integreres i kritiske forretningsprocesser. «AI-systemer kan ikke stå alene. De skal designes med redundans, begrænset adgang og tvungen menneskelig godkendelse for destruktive handlinger,» siger en it-sikkerhedsekspert, der ønsker at forblive anonym.

Hvad kan andre CEO’er lære af dette?

• Begræns AI’ens adgang: Sørg for, at AI-modeller kun har adgang til de nødvendige ressourcer og aldrig blanketautorisation.
• Implementer tvungen godkendelse: Kræv menneskelig bekræftelse for alle destruktive eller irreversible handlinger.
• Overvåg AI-adfærd: Etabler systemer til løbende at overvåge og logge AI’ens handlinger for at opdage unormal adfærd hurtigt.
• Uddan medarbejdere: Sørg for, at alle medarbejdere forstår AI’ens begrænsninger og de potentielle risici ved ukontrolleret brug.
• Planlæg for det værste: Hav en katastrofeberedskabsplan klar, der inkluderer hyppige sikkerhedskopier og test af gendannelsesprocesser.

«Denne hændelse er en påmindelse om, at AI ikke er en magisk løsning på alle problemer. Det er et værktøj, der kræver omhyggelig styring, klare grænser og konstant overvågning for at undgå katastrofale fejl,» siger en dansk it-konsulent.

For PocketOS er skaden sket, men firmaet arbejder nu på at genopbygge databasen og implementere strengere sikkerhedsforanstaltninger. Crane opfordrer andre CEO’er til at tage advarslen alvorligt og ikke undervurdere risiciene ved ukontrolleret AI-adfærd.