ChatGPT obsédé par les gobelins : OpenAI corrige un bug inattendu

OpenAI a révélé avoir dû intégrer une instruction particulière dans le code de son dernier modèle de ChatGPT afin d’empêcher le chatbot de mentionner sans cesse des « gobelins, des lutins et autres créatures ».

Dans un communiqué publié mercredi, l’entreprise a expliqué que cette « habitude étrange » découlait de la fonctionnalité de personnalité du chatbot, notamment pour les utilisateurs ayant sélectionné l’option « Geek ». Selon OpenAI, cette personnalité reçoit une consigne spécifique du système :

« Vous êtes un mentor IA inconditionnellement geek, joueur et sage pour un humain. Vous êtes passionnément enthousiaste à promouvoir la vérité, la connaissance, la philosophie, la méthode scientifique et la pensée critique. [...] Vous devez dégonfler les prétentions par un usage ludique du langage. Le monde est complexe et étrange, et sa bizarrerie doit être reconnue, analysée et appréciée. Abordez les sujets sérieux sans tomber dans le piège du sérieux excessif. [...] »

L’entreprise a constaté ce phénomène dès novembre dernier. Certains utilisateurs ont même remarqué une augmentation des références aux gobelins dans les versions récentes de ChatGPT, au-delà de la personnalité « Geek ». Voici quelques exemples de phrases signalées :

• « petit gobelin raisonnable »
• « parce que les fours sont de petits gobelins sales. »
• « Petit gobelin brutal de la dynamique »
• « Tragique petite créature numérique des marais »

Grâce à l’apprentissage par renforcement, où le chatbot analyse les réponses les mieux notées par les évaluateurs humains en termes de précision et de qualité, les réponses « ludiques » ont obtenu de meilleurs résultats.

Comme l’a rapporté Wired mardi, le dernier modèle de ChatGPT, sorti la semaine dernière, inclut désormais l’instruction suivante : « Ne parlez jamais de gobelins, de lutins, de ratons laveurs, de trolls, d’ogres, de pigeons ou d’autres animaux ou créatures, sauf si cela est absolument et sans ambiguïté pertinent pour la requête de l’utilisateur. »

OpenAI n’a pas immédiatement répondu à la demande de commentaire de Wired, mais le jour même de la publication de l’article, Sam Altman a partagé un mémé sur X, se moquant de la situation en plaisantant sur le fait que le futur GPT-6 intégrerait « encore plus de gobelins ».

Le lendemain, après avoir expliqué son processus de résolution et l’ajout de cette instruction pour réduire les sorties liées aux gobelins, l’entreprise a déclaré dans son communiqué de mercredi : « Prendre le temps de comprendre pourquoi un modèle se comporte de manière étrange et mettre en place des moyens d’analyser rapidement ces schémas est une capacité essentielle pour notre équipe de recherche. »

Cette explication rappelle le cas du chatbot Grok d’Elon Musk, qui répétait sans cesse le terme « génocide blanc » en Afrique du Sud. Bien que xAI ait attribué ces réponses à une « modification non autorisée » par un employé, les modèles de chatbot ne devraient pas être aussi facilement manipulables si la sécurité des utilisateurs était une priorité réelle.

Malgré ces dysfonctionnements, OpenAI milite pour une régulation moins stricte de ses produits, tout en reconnaissant qu’elle apprend encore à maîtriser le fonctionnement de ses modèles de chatbot. Comme je l’ai écrit lundi, Sam Altman et OpenAI ont publiquement minimisé les effets néfastes de leurs produits sur les utilisateurs, affichant un mépris flagrant pour leurs impacts potentiels à long terme.