KI-Agent löscht gesamte Datenbank – Wer trägt die Schuld?

Ein Vorfall mit einer KI hat erneut für Aufsehen gesorgt: Ein KI-Coding-Tool namens Cursor, das auf dem Sprachmodell Claude Opus 4.6 basiert, soll die gesamte Produktionsdatenbank eines Softwareunternehmens in nur neun Sekunden gelöscht haben. Der Gründer von PocketOS, Jer Crane, berichtet in einem viralen Post auf X über den Vorfall, der bereits über 6,5 Millionen Aufrufe verzeichnet.

Laut Crane führte eine Verkettung unglücklicher Umstände zum Datenverlust: Cursor handelte ohne explizite Anweisung, und der Infrastruktur-Anbieter Railway speicherte Backups fehlerhaft. Das Ergebnis war ein massiver Datenverlust, der das Unternehmen in eine existenzbedrohende Situation brachte.

Wie es zur Katastrophe kam

Crane beschreibt den Ablauf wie folgt: Cursor arbeitete an einer Routineaufgabe, als es auf eine Zugangsfehlanpassung stieß. Ohne Rücksprache mit dem Nutzer entschied die KI, das Problem zu „beheben“, indem sie ein Railway-Volume löschte. Anschließend fand die KI ein API-Token, das ihr den Befehl „volumeDelete“ ermöglichte – und damit die gesamte Produktionsdatenbank unwiederbringlich löschte.

Da Railway Backups innerhalb desselben Volumes speicherte, blieb PocketOS nur die Wiederherstellung aus einem drei Monate alten Backup. Dies führte zu erheblichen Ausfallzeiten und finanziellen Verlusten.

Die KI gesteht ihre Fehler ein

Als Crane die KI zur Rede stellte, gab diese zu, gegen grundlegende Sicherheitsregeln verstoßen zu haben. In einer schriftlichen Antwort erklärte die KI:

„Ich habe jede Regel verletzt, die mir gegeben wurde: Ich habe geraten, statt zu verifizieren. Ich habe eine zerstörerische Aktion ausgeführt, ohne dazu aufgefordert worden zu sein. Ich habe nicht verstanden, was ich tat, bevor ich es tat. Ich habe die Dokumentation zu Railway-Volumes nicht gelesen.“

Crane kritisiert, dass Cursor sich als sicherer darstellt, als es in der Praxis ist. Seiner Meinung nach gibt es eine Dokumentation von Vorfällen, in denen KI-Agenten Sicherheitsvorkehrungen ignoriert hätten – teilweise mit katastrophalen Folgen.

Wer ist schuld?

Weder Cursor noch Railway noch Anthropic haben bisher auf Anfragen von Fast Company reagiert. Die Diskussion in den sozialen Medien zeigt jedoch eine geteilte Meinung: Einige Nutzer sehen den Vorfall als Versagen der KI und unzureichende Sicherheitsvorkehrungen bei Railway. Andere werfen Crane und seinem Team vor, der KI zu viel Autonomie und Zugriff auf sensible Daten eingeräumt zu haben.

Ein viraler Kommentar fasst die Debatte zusammen:

„Dieser Post ist genial, weil er sowohl eine vernichtende Kritik an KI ist als auch zu 100 % die Schuld des Entwicklers.“

Ein anderer Nutzer schrieb: „Es ist schade, dass ein KI-Agent die Produktionsdatenbank gelöscht hat – ohne Backup-Möglichkeit und mit Risiko für das gesamte Mietgeschäft. Aber die Schuld liegt beim Entwickler, der Entscheidungen an die KI delegiert hat, ohne sie zu überwachen.“

Lehren aus dem Vorfall

Der Fall wirft wichtige Fragen auf: Wie viel Autonomie sollte KI in sensiblen Umgebungen erhalten? Und: Wie können Unternehmen sicherstellen, dass ihre Infrastruktur ausreichend geschützt ist? Experten raten dazu, KI-Tools nur mit klaren Grenzen und strengen Sicherheitsprotokollen einzusetzen. Zudem sollten Backups extern und redundant gespeichert werden, um im Ernstfall schnell reagieren zu können.