科学誌ネイチャーは5月27日、ChatGPTが学生の学習に与える影響を肯定的に評価した論文の撤回を発表した。同論文は2025年5月に掲載されたもので、中国・杭州師範大学の研究者Jin Wang氏とWenxiang Fan氏による「ChatGPTが学生の学習成績、学習認識、高次思考に与える影響:メタ分析からの知見」と題されていた。
同論文は、2022年11月から2025年2月にかけて発表された51の研究を分析し、ChatGPTが「学習成績」「学習認識」「高次思考」に「大幅または中程度の肯定的影響」を与えると結論づけていた。しかしネイチャー誌は撤回声明で、「メタ分析における不整合に関する懸念」を理由に撤回を発表。編集部は「これらの問題により、分析の妥当性と結論に対する信頼性が損なわれた」と説明した。研究者らは撤回に関する連絡に対し、未だに応答していないという。
研究手法の問題点が指摘される
撤回声明では具体的な問題点は明らかにされなかったが、2025年にEuropean Journal of Education Policy and Practice誌に掲載された研究論文が、Wang氏とFan氏の手法に重大な欠陥があると指摘していた。同論文の著者であるIlkka Tuomi氏は、「AI教育(AIED)に関する既存の実証研究は一定の肯定的効果を示唆しているが、詳細に分析すると方法論的・概念的な問題が浮き彫りになる」と指摘。政策や実践に活用すべきエビデンスとしては不十分だと結論づけている。
Tuomi氏によれば、メタ分析ではピアレビューを受けた論文であれば全て採用される傾向にあるが、個々の研究を精査すると質にばらつきがあり、AIが学習効果を向上させるというデータは必ずしも示されていないという。同氏は別の研究についても「見かけ上の方法論的品質や厳密さにもかかわらず、分析対象の研究の異質性が定量的な結果を無意味なものにしている」と批判している。
ソーシャルメディアで拡散された論文
Wang氏とFan氏の論文は、発表直後からソーシャルメディアで急速に拡散された。エディンバラ大学のデジタル教育上級講師Ben Williamson氏は、「論文が発表された2025年5月6日から数日後、LinkedInを中心に多くの注目を集めた。特に、ChatGPTが『学習成績』を向上させるという『初の実証的エビデンス』として紹介された」と説明する。発表から1カ月でオンラインアクセス数は約40万回を記録し、X(旧Twitter)やBlueskyを通じて数百回共有され、Altmetricスコアは365を記録した。影響力のある個人がAI教育推進の根拠として拡散したことで、さらに注目を集めたという。
Tuomi氏の指摘を受け、教育分野におけるAI活用のエビデンスに対する再評価が求められている。専門家らは、メタ分析の手法やデータの質に対する厳密な検証が必要だと主張している。