Nature trekker tilbake studie om ChatGPTs positive effekter i utdanningen

Det vitenskapelige tidsskriftet Nature har trukket tilbake en studie som hevdet at kunstig intelligens, spesielt ChatGPT, hadde en positiv effekt på elevers læring og kritisk tenkning. Studien, publisert i mai 2025, ble senere trukket på grunn av alvorlige metodiske problemer.

Den nå tilbakekalte artikkelen, med tittelen "The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking: insights from a meta-analysis", ble skrevet av forskerne Jin Wang og Wenxiang Fan fra Hangzhou Normal University i Kina. Studien var en metaanalyse som kombinerte data fra 51 tidligere forskningsstudier publisert mellom november 2022 og februar 2025. Forfatterne hevdet at ChatGPT hadde en stor eller moderat positiv effekt på elevers læring, oppfatning av læring og evne til høyere ordens tenkning.

Studien trukket på grunn av metodiske svakheter

Nature forklarte avgjørelsen om tilbakekallingen med at det var uoverensstemmelser i metoden som gjorde det umulig å stole på resultatene. «Redaksjonen har besluttet å trekke tilbake denne artikkelen på grunn av bekymringer knyttet til avvik i metaanalysen,» heter det i retraktionsnotatet. «Disse problemene underminerer redaktørens tillit til analysens gyldighet og de konklusjonene som følger av den.»

Forskerne har ikke svart på henvendelser om tilbakekallingen. Nature har heller ikke gitt ytterligere detaljer om hva som var galt med metoden.

Studien fikk stor oppmerksomhet før tilbakekallingen

Til tross for de metodiske svakhetene fikk studien stor oppmerksomhet da den ble publisert. Ifølge Ben Williamson, førsteamanuensis i digital utdanning ved Universitetet i Edinburgh, ble artikkelen delt hundrevis av ganger på sosiale medier som LinkedIn, X (tidligere Twitter) og Bluesky. Innen en måned hadde den blitt lest nesten 400.000 ganger og hadde en Altmetric-score på 365 – en indikator på hvor mye forskningen blir delt og diskutert.

«Jeg la merke til artikkelen rett etter publiseringen 6. mai 2025. Den ble raskt delt av innflytelsesrike personer som så den som bevis for at AI kan forbedre læring,»

Ekspert: Metoden var metodisk problematisk

En studie publisert i European Journal of Education Policy and Practice i 2025 pekte allerede på metodiske svakheter i Wang og Fans analyse. Forfatteren av denne studien, Ilkka Tuomi, påpekte at metaanalyser ofte inkluderer studier av varierende kvalitet, noe som gjør resultatene upålitelige.

«Eksisterende empiriske bevis på AI i utdanning tyder på noen positive effekter, men en nærmere undersøkelse viser metodiske og konseptuelle problemer. Konklusjonen er at eksisterende bevis ikke bør brukes til å utforme politikk eller praksis,» skrev Tuomi i sin analyse med tittelen «What counts as evidence in AI ED: Towards Science-for-Policy 3.0».

Tuomi understreket at mange av studiene som ble inkludert i Wang og Fans metaanalyse, var av lav kvalitet eller viste ingen reell effekt av AI på læring. «Til tross for en tilsynelatende metodisk kvalitet, gjør heterogeniteten i de analyserte studiene de kvantitative resultatene meningsløse,» skrev han.

Denne tilbakekallingen er ikke den første i sitt slag. Flere tidligere studier som hevdet å vise positive effekter av AI i utdanningen, har senere blitt trukket tilbake eller kritisert for metodiske svakheter. Eksperter oppfordrer nå til større forsiktighet når slike studier presenteres som avgjørende bevis for AI i klasserommet.