Gefälschte Zitate in Studien: KI-Halluzinationen gefährden die Wissenschaft

Wissenschaftliche Zitate sollen Forschungsergebnisse in einen Kontext einordnen und die Grundlage für neue Erkenntnisse schaffen. Doch immer häufiger führen diese Verweise ins Leere: erfundene oder nicht existierende Quellen werden in Studien zitiert, wie eine aktuelle Untersuchung im Fachmagazin Lancet belegt.

Die Studie, veröffentlicht am Donnerstag, stammt von Forschern der Columbia University. Sie warnen vor einer zunehmenden Verschmutzung der wissenschaftlichen Literatur durch diese falschen Zitate. Als Hauptursache identifizieren sie den Einsatz von generativer KI in der Forschung.

Wie KI-Halluzinationen die Wissenschaft untergraben

Generative KI-Systeme wie große Sprachmodelle erzeugen oft plausible, aber falsche oder nicht überprüfbare Inhalte. Diese sogenannten „Halluzinationen“ können auch Zitate betreffen: Die KI erfindet scheinbar seriöse Quellen, die in Wirklichkeit nicht existieren. Für Forscher ist es zunehmend schwierig, diese Fehler zu erkennen, da die erfundenen Zitate oft authentisch wirken – etwa durch korrekte Formatierung oder plausible Autorennamen.

Die Columbia-Forscher analysierten zahlreiche wissenschaftliche Arbeiten und fanden heraus, dass bis zu 10 % der Zitate in einigen Fachgebieten betroffen sein könnten. Besonders betroffen sind Disziplinen wie Medizin, Psychologie und Sozialwissenschaften, in denen KI bereits häufig für Literaturrecherchen genutzt wird.

Gefahren für die wissenschaftliche Integrität

Die Folgen dieser Entwicklung sind schwerwiegend:

• Vertrauensverlust in die Forschung: Wenn Zitate nicht mehr als verlässliche Quelle dienen können, wird die Nachvollziehbarkeit von Studien infrage gestellt.
• Verzerrte Erkenntnisse: Falsche Zitate können zu falschen Schlussfolgerungen führen und damit die gesamte wissenschaftliche Debatte verfälschen.
• Ressourcenverschwendung: Forscher, die auf erfundene Quellen hereinfallen, verschwenden Zeit und Geld mit der Überprüfung nicht existenter Literatur.

„Die Wissenschaft verliert ihre Grundlage, wenn Zitate nicht mehr vertrauenswürdig sind“, warnt einer der Studienautoren. „Dieses Problem könnte langfristig die Glaubwürdigkeit der gesamten Forschungsgemeinschaft untergraben.“

Was können Forscher und Verlage tun?

Um dem Problem entgegenzuwirken, schlagen die Autoren der Studie mehrere Maßnahmen vor:

• Manuelle Überprüfung: Wissenschaftler sollten Zitate, die von KI generiert wurden, besonders kritisch prüfen – etwa durch die Nutzung von Datenbanken wie PubMed oder Google Scholar.
• Transparenz bei KI-Nutzung: Forscher sollten offenlegen, wenn sie KI-Tools für Literaturrecherchen einsetzen, um potenzielle Fehlerquellen kenntlich zu machen.
• Technische Lösungen: Verlage und Datenbanken könnten KI-gestützte Plagiatsprüfungen einführen, die erfundene Zitate automatisch erkennen.
• Schulungen für Wissenschaftler: Universitäten und Forschungsinstitute sollten Schulungen anbieten, um Forscher für die Risiken von KI-Halluzinationen zu sensibilisieren.

Die Studie im Lancet unterstreicht damit eine wachsende Herausforderung für die wissenschaftliche Gemeinschaft. Während KI die Forschung beschleunigen kann, birgt sie auch neue Risiken – insbesondere, wenn ihre Grenzen nicht ausreichend berücksichtigt werden.