Nature retira un estudio que afirmaba que ChatGPT mejoraba el aprendizaje de los estudiantes

La prestigiosa revista científica Nature ha retractado un estudio que afirmaba que el uso de ChatGPT mejoraba el rendimiento académico de los estudiantes. El artículo, titulado "El efecto de ChatGPT en el rendimiento, la percepción y el pensamiento de alto nivel de los estudiantes: perspectivas desde un metaanálisis", fue publicado en mayo de 2025 por los investigadores Jin Wang y Wenxiang Fan, de la Universidad Normal de Hangzhou (China).

El estudio se basaba en un metaanálisis que combinaba datos de 51 investigaciones publicadas entre noviembre de 2022 y febrero de 2025, concluyendo que ChatGPT tenía un impacto positivo o moderado en el aprendizaje de los estudiantes. Sin embargo, la revista ha decidido retractarlo por discrepancias en los datos que ponen en duda la validez de sus conclusiones.

Nature publicó una nota explicando que:

"El editor ha decidido retractar este artículo debido a preocupaciones sobre discrepancias en el metaanálisis. Estos problemas socavan la confianza que el editor puede depositar en la validez del análisis y las conclusiones resultantes. Los autores no han respondido a la correspondencia relacionada con esta retractación".

Los investigadores no han emitido un comunicado oficial al respecto.

El estudio que generó controversia

El artículo, que se publicó el 6 de mayo de 2025, rápidamente se volvió viral en redes sociales, especialmente en LinkedIn, donde fue compartido por figuras influyentes como prueba de que la IA podía mejorar el aprendizaje. En menos de un mes, había sido consultado casi 400.000 veces y acumulaba un Altmetric score de 365, gracias a su difusión en plataformas como X (Twitter) y Bluesky.

Según explicó Ben Williamson, profesor titular de Educación Digital en la Universidad de Edimburgo, en un correo electrónico:

"Me percaté del estudio el mismo día o al siguiente de su publicación. Rápidamente ganó atención en redes sociales, presentándose como una de las primeras evidencias sólidas de que ChatGPT mejoraba lo que los autores denominaban 'rendimiento de aprendizaje'. Sin embargo, su difusión masiva se debió, en gran parte, a que figuras influyentes lo compartieron como respaldo para promover el uso de la IA en la educación".

Críticas metodológicas previas

Aunque Nature no detalló las discrepancias en su nota de retractación, un estudio publicado en 2025 en la revista European Journal of Education Policy and Practice ya había señalado los problemas metodológicos del trabajo de Wang y Fan. El artículo, titulado "¿Qué cuenta como evidencia en IA en educación? Hacia una ciencia para políticas 3.0" y escrito por Ilkka Tuomi, criticaba el enfoque de los metaanálisis que incluyen estudios de calidad desigual.

Según Tuomi, muchos de estos estudios no demuestran realmente que la IA mejore los resultados de aprendizaje, ya que sus metodologías son heterogéneas y, en ocasiones, poco rigurosas.

"A pesar de su aparente rigor metodológico, la heterogeneidad de los estudios analizados hace que los resultados cuantitativos del metaanálisis de Wang y Fan carezcan de significado".

El experto también advirtió que otros estudios virales sobre los beneficios de ChatGPT en la educación comparten los mismos problemas metodológicos, lo que pone en duda su fiabilidad como base para políticas educativas.