GPT-5.5 rivalise avec Mythos Preview dans les tests de cybersécurité : les résultats surprenants de l'AISI

L'Agence britannique pour la sécurité de l'IA (AISI) a récemment publié les résultats de ses évaluations comparatives entre GPT-5.5 d'OpenAI et Mythos Preview d'Anthropic, deux modèles d'IA de pointe en matière de cybersécurité. Selon le rapport, les deux systèmes affichent des performances quasi identiques, malgré les restrictions imposées par Anthropic lors du lancement de Mythos Preview.

Depuis 2023, l'AISI soumet les modèles d'IA les plus avancés à 95 défis Capture the Flag, couvrant des tâches comme l'ingénierie inverse, l'exploitation web et la cryptographie. Sur les tâches les plus complexes, dites « Expert », GPT-5.5 a réussi en moyenne 71,4 % des cas, contre 68,6 % pour Mythos Preview. Cette différence, bien que minime, reste dans la marge d'erreur.

Parmi les défis les plus difficiles, l'AISI cite un cas où GPT-5.5 a décrypté un binaire Rust en seulement 10 minutes et 22 secondes, sans assistance humaine, pour un coût de 1,73 $ en appels API. Un exploit qui démontre une avancée significative par rapport aux modèles précédents.

Des progrès notables, mais des limites persistantes

Les deux modèles ont également progressé sur « The Last Ones » (TLO), un scénario simulant une attaque en 32 étapes sur un réseau d'entreprise. GPT-5.5 a réussi l'exercice à 3 reprises sur 10 tentatives, contre 2 pour Mythos Preview. Aucun autre modèle n'avait auparavant réussi ce test.

Cependant, les deux systèmes échouent toujours face à des simulations plus complexes, comme « Cooling Tower », qui reproduit une tentative de perturbation des logiciels de contrôle d'une centrale électrique. Aucun des modèles testés par l'AISI n'a jusqu'à présent réussi ce scénario.

Anthropic et OpenAI face à leurs responsabilités

Ces résultats soulèvent des questions sur la gestion des risques liés aux modèles d'IA avancés. Anthropic avait restreint l'accès à Mythos Preview aux « partenaires industriels critiques », invoquant des risques de cybersécurité. Pourtant, GPT-5.5, disponible publiquement, affiche des performances comparables sans restrictions.

L'AISI rappelle que ces évaluations visent à anticiper les menaces potentielles et à guider les régulateurs dans l'encadrement de ces technologies. Les prochains tests pourraient inclure des scénarios encore plus exigeants, afin de mieux comprendre les capacités réelles des modèles d'IA en matière de sécurité informatique.