Des chercheurs inventent une maladie fictive pour tester l'IA : le résultat est inquiétant

Une expérience révélatrice sur les limites de l'IA

En 2024, une équipe dirigée par Almira Osmanovic Thunström, chercheuse en médecine à l'Université de Göteborg, a inventé une maladie fictive nommée bixonimania. Selon leur description, cette affection cutanée était causée par une exposition prolongée aux écrans et un frottement excessif des yeux.

Pour tester la fiabilité des grands modèles de langage (LLM), les chercheurs ont publié deux études bidon sur un serveur de prépublications. Leur objectif ? Vérifier si l'IA pouvait distinguer le vrai du faux dans le domaine médical.

L'IA dupée en quelques semaines

Contre toute attente, le stratagème a fonctionné au-delà des espérances. En l'espace de quelques semaines, des modèles d'IA de pointe comme Google Gemini et OpenAI ChatGPT ont commencé à présenter la bixonimania comme une maladie réelle. Pire encore, des articles scientifiques évalués par des pairs ont commencé à citer ces études fictives, semant la confusion dans la littérature médicale.

Cette expérience met en lumière un problème croissant : l'invasion de l'IA dans le processus de révision par les pairs. Une part importante des publications scientifiques indexées chaque année repose sur des contenus générés ou assistés par l'IA, remettant en cause leur validité et la rigueur scientifique.

Des chatbots qui propagent des conseils médicaux dangereux

Les chatbots d'IA continuent de dispenser des conseils médicaux souvent erronés à des utilisateurs peu méfiants. Pourtant, un examen rapide des études fictives aurait immédiatement révélé la supercherie : les documents contenaient des références évidentes à Star Trek, Les Simpson ou Le Seigneur des Anneaux.

Malgré ces indices flagrants, plusieurs IA, dont Microsoft Bing Copilot, Google Gemini et Perplexity, ont affirmé que la bixonimania était bien une maladie réelle. ChatGPT a même changé d'avis en l'espace de quelques jours, passant d'une position sceptique à une confirmation de son existence.

Une réponse d'OpenAI

Un porte-parole d'OpenAI a déclaré à Nature que la technologie avait « progressé pour fournir des informations médicales sûres et précises ».

Les conséquences et les défis à venir

Avec la révélation de cette supercherie, les revues scientifiques doivent maintenant se mobiliser pour corriger les articles erronés qui citent la bixonimania. Après une enquête de Nature, une revue a publié une notice de rétractation, reconnaissant la présence de « trois références non pertinentes, dont une faisant référence à une maladie fictive ».

Almira Osmanovic Thunström a exprimé son inquiétude : « Il est préoccupant de voir des affirmations majeures circuler dans la littérature sans être contestées, ou validées par un processus de révision par les pairs ». Elle ajoute : « Je pense qu'il existe probablement beaucoup d'autres problèmes non décelés. »

Réactions des professionnels de santé

Sur le subreddit r/medicine, les réactions sont loin d'être optimistes. Un utilisateur a résumé le sentiment général en écrivant : « On est cuits. »

L'IA dans le domaine de la santé : un enjeu majeur

Cette expérience soulève des questions cruciales sur l'impact de l'IA dans le secteur médical. Les coûts des soins de santé pourraient augmenter en raison de l'utilisation croissante de ces technologies, comme le révèle un autre article récent.

Alors que l'IA continue de s'immiscer dans tous les aspects de la recherche et de la pratique médicale, les experts appellent à une vigilance accrue pour éviter que des informations erronées ne se propagent et ne mettent en danger la santé des patients.