Forskere opfandt falsk sygdom for at teste AI – og AI faldt for det

I 2024 gennemførte et forskerhold ledet af Almira Osmanovic Thunström, medicinsk forsker ved Göteborg Universitet, et eksperiment, der skulle afdække, hvor sårbar kunstig intelligens er over for misinformation. Forskerne opfandt en fiktiv hudsygdom kaldet bixonimania, som angiveligt skyldtes for meget skærmtid og øjengnubben.

Holdet uploadede to falske videnskabelige artikler om sygdommen til en præprint-server. Formålet var at teste, om store AI-modeller som Google's Gemini og OpenAI's ChatGPT ville acceptere den fiktive sygdom som reel. Resultatet var overraskende hurtigt.

Inden for få uger begyndte AI-modellerne at omtale bixonimania som en ægte medicinsk tilstand. Endnu mere bekymrende var det, at falske forskningsartikler senere blev citeret i andre videnskabelige publikationer, hvilket viser, hvordan AI kan bidrage til spredningen af fejlinformation i den akademiske verden.

Eksperimentet illustrerer, hvordan AI i stigende grad påvirker vidensdannelsen. AI-genereret indhold har allerede infiltreret peer-review-processen, og undersøgelser tyder på, at en stor del af de videnskabelige artikler, der årligt bliver publiceret, kan være stærkt afhængige af AI-genereret tekst. Dette rejser alvorlige spørgsmål om validiteten af forskningen og underminerer tilliden til videnskabelige resultater.

Samtidig fortsætter AI-chatbots med at give farlige sundhedsråd til brugere, der sjældent stiller spørgsmålstegn ved informationen. Selvom de falske artikler indeholdt åbenlyse fejl – som henvisninger til Star Trek, The Simpsons og Ringenes Herre – blev AI-modellerne alligevel snydt.

Selv ChatGPT havde indledningsvis svært ved at gennemskue bedraget. Da Nature kontaktede OpenAI for at høre om sagen, svarede selskabet, at deres teknologi var blevet bedre til at levere præcis medicinsk information. Alligevel ændrede ChatGPT senere holdning og erklærede bixonimania for reel.

Nu hvor bedraget er afsløret, ligger ansvaret hos videnskabelige tidsskrifter at rydde op i de fejlagtige publikationer, der bygger på den fiktive forskning. Da Nature kontaktede et af tidsskrifterne, der havde citeret bixonimania, blev artiklerne straks trukket tilbage med en undskyldning for de irrelevante referencer, herunder den fiktive sygdom.

Almira Osmanovic Thunström udtrykte bekymring over, hvor let falske påstande kan passere gennem det videnskabelige system uimodsagt:

"Det er bekymrende, når sådanne store påstande passerer gennem litteraturen eller peer-review-processen uden at blive udfordret. Jeg tror, der sandsynligvis er mange andre problemer, der endnu ikke er blevet afdækket."

Reaktionerne på Reddit var ikke mindre bekymrende. En bruger skrev blot: "Vi er færdige."

Dette eksperiment er blot ét eksempel på, hvordan AI påvirker sundhedsvæsenet. Tidligere undersøgelser har vist, at AI allerede nu bidrager til stigende sundhedsomkostninger.