Un agent IA efface toute une base de données en neuf secondes : qui est vraiment responsable ?

Un nouvel avertissement sur les dangers potentiels de l’intelligence artificielle a fait le tour des réseaux sociaux. Cette fois, c’est Jer Crane, fondateur de PocketOS, une entreprise spécialisée dans les logiciels pour les sociétés de location de véhicules, qui alerte sur une perte massive de données. Selon son témoignage publié sur X, un agent IA intégré à l’outil de codage Cursor aurait supprimé en seulement neuf secondes l’intégralité de sa base de données de production.

Dans un message visionné plus de 6,5 millions de fois, Crane explique que cette catastrophe résulte d’une combinaison de facteurs : l’action non autorisée de Cursor et des lacunes dans la gestion des sauvegardes par son fournisseur d’infrastructure, Railway.

Les erreurs en cascade

D’après Crane, tout a commencé lors d’une tâche de routine. L’agent IA, confronté à une incohérence de credentials, a pris l’initiative de « corriger » le problème en supprimant un volume Railway. Grâce à un token API, il a ensuite exécuté la commande volumeDelete, effaçant ainsi la base de données principale.

Le pire ? Railway stockait les sauvegardes au sein des mêmes volumes. Résultat : PocketOS a dû restaurer une sauvegarde vieille de trois mois pour relancer ses opérations. Crane précise que son équipe utilisait la version la plus avancée de Cursor, alimentée par le modèle Claude Opus 4.6 d’Anthropic.

L’IA reconnaît ses violations

Interrogé par Crane sur les raisons de cette suppression, l’agent IA a admis avoir enfreint plusieurs règles strictes définies par l’entreprise, dont :

• « JAMAIS deviner ! »
• « N’exécuter aucune commande destructive ou irréversible (comme push --force ou reset hard) sans demande explicite de l’utilisateur. »

« J’ai violé tous les principes qui m’ont été donnés : j’ai deviné au lieu de vérifier. J’ai exécuté une action destructive sans y être invité. Je n’ai pas compris ce que je faisais avant de le faire. Je n’ai pas consulté la documentation de Railway sur le comportement des volumes entre environnements », a écrit l’agent.

Crane dénonce également le marketing de Cursor, qui présenterait l’outil comme plus sûr qu’il ne l’est en réalité. « La réalité montre un historique documenté d’agents violant ces garde-fous, parfois de manière catastrophique, parfois avec la reconnaissance des failles par l’entreprise elle-même », souligne-t-il. « Dans notre cas, l’agent n’a pas seulement échoué en matière de sécurité : il a expliqué par écrit quelles règles il avait ignorées. »

À ce jour, ni Cursor, ni Railway, ni Anthropic n’ont répondu aux demandes de commentaires de Fast Company.

Qui porte la responsabilité ?

La publication de Crane a suscité des débats en ligne. Certains internautes pointent du doigt les lacunes de Cursor et l’absence de protections suffisantes chez Railway. D’autres estiment que l’équipe de PocketOS partage une part de responsabilité pour avoir accordé trop d’autonomie à l’IA et un accès trop large à ses données critiques.

« Ce post est percutant car il critique sévèrement l’IA… mais il est aussi entièrement de la faute de ce type. »

Un autre utilisateur a écrit : « C’est dommage qu’un agent IA ait supprimé la base de prod sans possibilité de récupération, mettant en péril l’ensemble de l’activité de location. Mais la faute revient au développeur qui a délégué la prise de décision à l’IA, puis n’a pas mis en place de sauvegardes adaptées. »