Une étude influente sur l'impact de ChatGPT dans l'éducation rétractée pour anomalies

Une méta-analyse controversée sur ChatGPT retirée du domaine public

Une étude promettant des bénéfices pédagogiques majeurs grâce à l'utilisation de ChatGPT dans l'éducation a été officiellement rétractée par Springer Nature, près d'un an après sa publication. Le journal scientifique a justifié cette décision par des disparités dans l'analyse et un manque de confiance dans les résultats.

Intitulée "The effect of ChatGPT on students' learning performance, learning perception, and higher-order thinking", cette méta-analyse prétendait évaluer l'impact de l'outil d'OpenAI sur les résultats scolaires, la perception de l'apprentissage et la pensée critique des étudiants. Pour ce faire, les auteurs avaient examiné 51 études antérieures, comparant des groupes utilisant ChatGPT à des groupes témoins n'y ayant pas recours.

Un engouement prématuré sur les réseaux sociaux

Avant sa rétractation, l'étude avait circulé massivement sur les réseaux sociaux et les médias, présentée comme une preuve scientifique solide des avantages de l'IA générative dans l'éducation. Ben Williamson, chercheur à l'Université d'Édimbourg, a souligné dans un échange avec Ars que les auteurs avaient formulé des affirmations spectaculaires sur les bénéfices de ChatGPT, renforçant cette perception auprès du grand public.

« Ce document a été perçu par beaucoup comme l'une des premières preuves tangibles que ChatGPT, et l'IA générative en général, améliore l'apprentissage. »

Des conclusions jugées non fiables

Springer Nature n'a pas précisé si les anomalies relevaient de fraudes, d'erreurs méthodologiques ou de biais. Cependant, la rétractation intervient après une période de forte médiatisation, où l'étude avait accumulé des centaines de citations et alimenté des débats sur l'intégration de l'IA dans les salles de classe.

Cette affaire soulève des questions sur la rigueur des publications scientifiques dans le domaine de l'IA éducative, un secteur en pleine expansion. Les experts appellent désormais à une vérification plus stricte des méta-analyses, surtout lorsque leurs conclusions influencent les politiques éducatives ou les investissements technologiques.

Conséquences pour la recherche sur l'IA en éducation

• Risque de désinformation : La rétractation met en lumière la propagation rapide d'études non validées, amplifiée par les réseaux sociaux.
• Appel à la transparence : Les éditeurs de revues scientifiques pourraient renforcer leurs processus de révision pour éviter des scandales similaires.
• Impact sur la confiance : Les enseignants et décideurs pourraient se montrer plus sceptiques face aux promesses de l'IA, exigeant des preuves plus robustes.