Un estudio que aseguraba que ChatGPT mejoraba el rendimiento académico de los estudiantes ha sido retractado casi un año después de su publicación. La revista científica, editada por Springer Nature, ha retirado el artículo tras detectar irregularidades en el análisis y falta de rigor en sus conclusiones.
Aunque el trabajo había acumulado cientos de citas y se había difundido ampliamente en redes sociales, la editorial ha decidido retractarlo por considerar que sus afirmaciones carecían de base sólida.
Un estudio con gran impacto mediático
El artículo, que pretendía demostrar los beneficios de ChatGPT en la educación, fue ampliamente compartido como una de las primeras pruebas científicas de que la inteligencia artificial generativa mejoraba el aprendizaje. Sin embargo, su credibilidad se ha visto gravemente comprometida.
Ben Williamson, profesor titular del Centre for Research in Digital Education y del Edinburgh Futures Institute de la Universidad de Edimburgo (Escocia), explicó en un correo a Ars Technica que «los autores del estudio realizaron afirmaciones muy llamativas sobre los beneficios de ChatGPT en los resultados educativos».
Añadió que muchos usuarios en redes sociales lo interpretaron como «una de las primeras evidencias sólidas y de alta calidad de que ChatGPT, y la IA generativa en general, benefician a los estudiantes».
Metodología cuestionable
El trabajo retractado pretendía medir «el efecto de ChatGPT en el rendimiento académico, la percepción del aprendizaje y el pensamiento de alto nivel» mediante un metaanálisis de 51 estudios previos. Sin embargo, la revista determinó que los métodos empleados presentaban discrepancias significativas y que las conclusiones no eran fiables.
El análisis comparaba grupos experimentales que utilizaban ChatGPT en entornos educativos con grupos de control que no empleaban esta herramienta. A pesar de su difusión inicial, la falta de transparencia en los datos y la metodología han llevado a su retirada definitiva.