Czasopismo "Nature" wycofuje badanie o rzekomych korzyściach ChatGPT dla edukacji

Wycofanie badania przez "Nature"

Czasopismo naukowe "Nature" wycofało opublikowane w maju 2024 roku badanie pt. "Wpływ ChatGPT na wyniki nauczania, postrzeganie uczenia się i myślenie wyższych rzędów: wnioski z metaanalizy". Autorami byli Jin Wang i Wenxiang Fan z Hangzhou Normal University w Chinach.

Badanie było metaanalizą, która łączyła dane z 51 wcześniejszych badań opublikowanych między listopadem 2022 a lutym 2025 roku. Według autorów miało wykazać, że ChatGPT ma duży lub umiarkowany pozytywny wpływ na postępy uczniów, ich percepcję uczenia się oraz zdolności myślenia wyższych rzędów.

Redakcja "Nature" podała, że wycofuje artykuł z powodu poważnych nieprawidłowości w metodologii metaanalizy. "Redakcja zdecydowała się na wycofanie artykułu z powodu wątpliwości dotyczących rozbieżności w metaanalizie. Problemy te podważają zaufanie, jakie redakcja mogła mieć do wyników i wniosków badania" – napisano w oficjalnym oświadczeniu. Autorzy nie odpowiedzieli na prośby o komentarz.

Szybkie rozpowszechnienie i późniejsze wątpliwości

Badanie szybko zdobyło popularność w mediach społecznościowych, zwłaszcza na LinkedIn, gdzie cytowali je wpływowi użytkownicy jako dowód na korzyści płynące z używania ChatGPT w edukacji. W ciągu miesiąca od publikacji artykuł został pobrany online niemal 400 tysięcy razy, a jego Altmetric score wyniósł 365 punktów.

Ben Williamson, starszy wykładowca cyfrowej edukacji na Uniwersytecie w Edynburgu, zauważył, że badanie pojawiło się wkrótce po swojej publikacji i szybko stało się viralowe. "To było przedstawiane jako jedno z pierwszych rzetelnych dowodów na to, że ChatGPT poprawia to, co autorzy nazywają 'wynikami nauczania'" – powiedział w wywiadzie dla mediów.

Krytyka metodologii badań nad AI w edukacji

Już wcześniej eksperci zwracali uwagę na słabości metodologiczne podobnych badań. W 2025 roku opublikowano w European Journal of Education Policy and Practice artykuł Ilkki Tuomi pt. "Co liczy się jako dowód w AI ED: Ku nauce dla polityki 3.0", który krytykował podejście stosowane przez Wanga i Fana.

Według Tuomi, metaanalizy często opierają się na niskiej jakości badaniach, które zostały uznane za recenzowane, ale w rzeczywistości zawierają poważne błędy metodologiczne. "Istniejące dowody empiryczne dotyczące AI w edukacji sugerują pewne pozytywne efekty, jednak bliższa analiza ujawnia problemy metodologiczne i koncepcyjne. Wnioski nie powinny być wykorzystywane do kształtowania polityki edukacyjnej" – napisał Tuomi.

Ekspert zwrócił uwagę, że badania te często mylą korelację z przyczynowością i nie uwzględniają różnic w jakości poszczególnych badań. "Pomimo pozornej rzetelności, heterogeniczność analizowanych badań sprawia, że wyniki metaanalizy tracą sens" – dodał.

Podobne przypadki w przeszłości

Problemy z badaniami dotyczącymi AI w edukacji nie są nowe. Wcześniej szeroko cytowano inne badania, które miały dowodzić pozytywnego wpływu sztucznej inteligencji na wyniki uczniów, jednak później zostały poddane krytyce lub wycofane z powodu błędów metodologicznych.

Eksperci podkreślają, że potrzebne są bardziej rygorystyczne standardy w badaniach nad AI w edukacji, aby uniknąć wprowadzania w błąd decydentów i społeczeństwa.