Studio influente su ChatGPT nell'istruzione ritirato per gravi irregolarità

Un articolo scientifico che affermava che ChatGPT può migliorare le performance di apprendimento degli studenti è stato ritirato dalla rivista Springer Nature quasi un anno dopo la sua pubblicazione. La casa editrice ha evidenziato irregolarità nell’analisi dei dati e una mancanza di affidabilità nelle conclusioni del lavoro.

Nonostante ciò, lo studio aveva già ottenuto centinaia di citazioni e aveva circolato ampiamente sui social media, dove era stato presentato come una delle prime prove scientifiche a sostegno dei benefici dell’IA generativa nell’istruzione.

Le critiche degli esperti

Ben Williamson, docente senior presso il Centre for Research in Digital Education e l’Edinburgh Futures Institute dell’Università di Edimburgo, ha commentato in una mail ad Ars Technica:

«Gli autori del paper hanno avanzato affermazioni molto suggestive sui presunti benefici di ChatGPT per l’apprendimento. Molti utenti dei social media hanno trattato questo studio come una delle prime prove solide e autorevoli che l’IA generativa, in generale, apporti vantaggi agli studenti».

Lo studio ritirato si proponeva di misurare l’impatto di ChatGPT sulle performance di apprendimento, sulla percezione degli studenti e sul pensiero critico superiore. Per farlo, aveva analizzato i risultati di 51 ricerche precedenti, applicando una meta-analisi per confrontare i gruppi sperimentali (che utilizzavano ChatGPT) con quelli di controllo (che non lo utilizzavano).

Le ragioni del ritiro

Secondo Springer Nature, le discrepanze emerse nell’analisi e la mancanza di solidità metodologica hanno reso inaffidabili le conclusioni dello studio. Nonostante ciò, il paper aveva già guadagnato una notevole visibilità, alimentando discussioni sull’uso dell’IA nell’istruzione.

Il ritiro solleva interrogativi sulla qualità della ricerca sull’IA generativa e sulla necessità di una maggiore attenzione nella valutazione degli studi che esplorano le applicazioni dell’intelligenza artificiale in ambito educativo.