Nature intrekt wetenschappelijk artikel over ChatGPT in het onderwijs

Nature trekt controversieel artikel over ChatGPT in het onderwijs in

Het gerenommeerde wetenschappelijke tijdschrift Nature heeft een recent gepubliceerd artikel over de vermeende positieve effecten van ChatGPT op het leren van studenten ingetrokken. Het onderzoek, uitgevoerd door Jin Wang en Wenxiang Fan van de Hangzhou Normal University in China, werd in mei 2025 gepubliceerd onder de titel "The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking: insights from a meta-analysis".

Het artikel presenteerde zich als een meta-analyse van 51 studies, gepubliceerd tussen november 2022 en februari 2025, en concludeerde dat ChatGPT een grote of matige positieve invloed had op de leerprestaties, leerperceptie en hogere-orde denkvaardigheden van studenten. Deze conclusies bleken echter niet houdbaar.

Waarom werd het artikel ingetrokken?

In een terugtrekkingsmelding verklaarde Nature dat er "zorgen zijn over onregelmatigheden in de meta-analyse". Deze problemen ondermijnen volgens het tijdschrift de betrouwbaarheid van de analyse en de daaruit getrokken conclusies. De auteurs hebben niet gereageerd op verzoeken om opheldering.

"De Editor heeft besloten dit artikel in te trekken vanwege zorgen over discrepanties in de meta-analyse," aldus Nature. "Deze kwesties ondermijnen uiteindelijk het vertrouwen dat de Editor kan stellen in de validiteit van de analyse en de resulterende conclusies. De auteurs hebben niet gereageerd op correspondentie met betrekking tot deze intrekking."

Wetenschappelijke kritiek op methodologie

Een onderzoek uit 2025, gepubliceerd in het European Journal of Education Policy and Practice, wees al eerder op methodologische tekortkomingen in soortgelijke studies. Ilkka Tuomi, auteur van het artikel "What counts as evidence in AI ED: Towards Science-for-Policy 3.0", stelt dat meta-analyses vaak studies opnemen die niet voldoen aan wetenschappelijke kwaliteitseisen.

Volgens Tuomi worden in dergelijke analyses vaak studies meegenomen die wel peer-reviewed zijn, maar waarbij de individuele kwaliteit en de onderliggende data niet altijd betrouwbaar zijn. "Ondanks de ogenschijnlijke methodologische kwaliteit en schijnbare degelijkheid, maakt de heterogeniteit van de geanalyseerde studies de kwantitatieve resultaten van de meta-analyse betekenisloos," aldus Tuomi.

Snelle verspreiding en sociale media

Het artikel van Wang en Fan kreeg snel veel aandacht op sociale media, met name op LinkedIn. Binnen een maand werd het bijna 400.000 keer bekeken en scoorde het een Altmetric-score van 365. Invloedrijke figuren deelden het als bewijs voor de positieve impact van AI in het onderwijs. Ben Williamson, senior docent digitale educatie aan de Universiteit van Edinburgh, merkte op dat het artikel al snel werd gedeeld als "hard bewijs" voor de voordelen van ChatGPT.

Williamson zei: "Ik zag het artikel al een dag of twee na publicatie op 6 mei 2025. Het verspreidde zich snel op sociale media, vooral op LinkedIn, omdat het leek te bieden wat leek op het eerste harde bewijs dat ChatGPT de leerprestaties verbetert."

Gevolgen voor AI in het onderwijs

De intrekking van het artikel onderstreept de noodzaak van kritische evaluatie van wetenschappelijke claims over AI in het onderwijs. Tuomi waarschuwt dat beleidsmakers en onderwijsinstellingen voorzichtig moeten zijn met het baseren van beslissingen op dergelijke studies zonder grondige beoordeling van de methodologie.

"Bestaand empirisch bewijs over AI in het onderwijs suggereert enkele positieve effecten, maar een nauwkeurige analyse onthult methodologische en conceptuele problemen. Dit leidt tot de conclusie dat bestaand bewijs niet gebruikt zou moeten worden om beleid of praktijk te sturen," aldus Tuomi.

Reactie van de onderzoekers

Tot op heden hebben de auteurs van het ingetrokken artikel, Jin Wang en Wenxiang Fan, niet gereageerd op verzoeken om commentaar. Nature heeft geen verdere details verstrekt over de specifieke problemen in de meta-analyse.