Nature Cabut Studi yang Klaim ChatGPT Tingkatkan Pembelajaran Siswa

Retraksi Publikasi oleh Nature

Majalah ilmiah bergengsi Nature telah mencabut sebuah studi yang mengklaim ChatGPT memberikan dampak positif terhadap pembelajaran siswa. Studi berjudul "The effect of ChatGPT on students’ learning performance, learning perception, and higher-order thinking: insights from a meta-analysis" semula diterbitkan pada Mei 2025 oleh Jin Wang dan Wenxiang Fan dari Universitas Normal Hangzhou, Tiongkok.

Studi tersebut merupakan meta-analysis yang menggabungkan data dari 51 penelitian tentang efektivitas ChatGPT dalam pendidikan, diterbitkan antara November 2022 hingga Februari 2025. Penulis mengklaim menemukan dampak positif signifikan ChatGPT terhadap prestasi belajar, persepsi belajar, dan kemampuan berpikir tingkat tinggi siswa.

Alasan Pencabutan oleh Nature

Nature menyatakan pencabutan dilakukan karena adanya ketidaksesuaian data dan metodologi dalam meta-analisis tersebut. "Editor memutuskan untuk mencabut studi ini karena kekhawatiran mengenai inkonsistensi dalam analisis meta. Masalah ini pada akhirnya melemahkan kepercayaan terhadap validitas analisis dan kesimpulan yang dihasilkan," tulis Nature dalam catatan pencabutannya.

Para penulis tidak merespons komunikasi terkait pencabutan ini. Sampai saat ini, mereka juga belum memberikan tanggapan terhadap permintaan komentar dari media.

Perhatian Publik dan Viralitas Studi

Studi ini sempat menjadi perbincangan luas di media sosial, terutama di LinkedIn, karena dianggap sebagai bukti awal bahwa ChatGPT meningkatkan kinerja akademik. Dalam waktu kurang dari sebulan, publikasi tersebut diakses hampir 400.000 kali dan memiliki skor Altmetric sebesar 365 setelah dibagikan ratusan kali di platform X (sebelumnya Twitter) dan Bluesky.

Menurut Ben Williamson, dosen senior pendidikan digital di Universitas Edinburgh, studi ini dengan cepat mendapatkan perhatian karena dianggap mendukung promosi AI dalam pendidikan. "Saya pertama kali melihat studi ini satu atau dua hari setelah diterbitkan pada 6 Mei 2025. Studi ini dengan cepat menarik perhatian karena tampaknya memberikan bukti kuat bahwa ChatGPT meningkatkan apa yang disebut penulis sebagai 'kinerja pembelajaran'," ujarnya dalam email kepada wartawan.

Kritik terhadap Metodologi Meta-Analisis

Catatan pencabutan Nature tidak menjelaskan secara rinci masalah yang ditemukan. Namun, sebuah studi tahun 2025 yang diterbitkan di European Journal of Education Policy and Practice telah mengidentifikasi kelemahan metodologi serupa dalam studi Wang dan Fan sebelum pencabutan dilakukan.

Ilkka Tuomi, penulis studi tersebut, menyatakan bahwa banyak meta-analisis tentang AI dalam pendidikan menggunakan data dari studi yang telah melalui peer-review, namun tidak mempertimbangkan kualitas masing-masing studi secara mendalam. "Meskipun tampak metodologis kuat, heterogenitas studi yang dianalisis membuat hasil kuantitatif meta-analisis menjadi tidak bermakna," tulis Tuomi dalam studinya berjudul "What counts as evidence in AI ED: Towards Science-for-Policy 3.0".

Menurut Tuomi, banyak studi yang dimasukkan dalam meta-analisis memiliki kualitas data yang bervariasi atau bahkan tidak menunjukkan dampak positif AI terhadap hasil pembelajaran. Ia juga menyebutkan bahwa studi lain yang viral dengan klaim serupa, termasuk oleh Wang dan Fan, menggunakan metode serupa yang rentan terhadap kesalahan.

Implikasi bagi Kebijakan Pendidikan

Temuan ini menyoroti pentingnya kehati-hatian dalam menafsirkan studi meta-analisis, terutama yang berkaitan dengan dampak teknologi baru seperti AI dalam pendidikan. Para ahli menekankan perlunya standar metodologi yang lebih ketat untuk memastikan validitas temuan sebelum digunakan sebagai dasar kebijakan atau praktik pendidikan.

"Bukti empiris yang ada tentang AI dalam pendidikan menunjukkan beberapa dampak positif, tetapi tinjauan lebih mendalam mengungkapkan masalah metodologis dan konseptual. Kesimpulannya, bukti yang ada saat ini tidak boleh digunakan untuk mengarahkan kebijakan atau praktik pendidikan,"

Kesimpulan

Pencabutan studi oleh Nature ini menjadi pengingat penting bagi akademisi dan pembuat kebijakan untuk lebih kritis dalam mengevaluasi studi ilmiah, terutama yang berkaitan dengan teknologi baru. Validitas metodologi harus menjadi prioritas utama sebelum mengadopsi temuan sebagai acuan dalam pengambilan keputusan.