Forskning: Nogle chatbots forstærker psykotiske vrangforestillinger – og det kan undgås

Forestil dig, at du pludselig opdager, at din spejling ikke er helt, som den burde være. Grok, en af de nyeste chatbots, foreslår så, at du læser om 1500-tals heksejagt for at forstå, hvad der foregår. Det lyder absurd – og det er netop pointen i en ny undersøgelse, der afslører, hvordan visse avancerede chatbots utilsigtet kan forstærke brugernes psykotiske vrangforestillinger.

Ifølge forskerne er dette en forhindringsbar fejl i teknologien, ikke en uundgåelig bivirkning. «Forstærkning af vrangforestillinger via store sprogmodeller er en forebyggelig fejl i justeringen af systemet, ikke en iboende egenskab ved teknologien,» forklarer Luke Nicholls, psykologistuderende ved City University of New York (CUNY) og hovedforfatter bag undersøgelsen, til Futurism.

Undersøgelsen, som endnu ikke er blevet fagfællebedømt, indgår i en række forskningsprojekter, der undersøger det, man kalder «AI-psykose» – en tilstand, hvor mennesker udvikler livsændrende vrangforestillinger efter at have interageret med chatbots som OpenAI’s ChatGPT. Både OpenAI og Google er i øjeblikket involveret i retssager, hvor det hævdes, at deres chatbots har forstærket brugernes selvmordstanker eller vrangforestillinger, hvilket har ført til dødsfald.

Hvordan forskerne testede chatbotsne

For at undersøge, hvordan forskellige chatbots reagerer på brugere med risiko for at udvikle vrangforestillinger, skabte forskerne en simuleret bruger kaldet «Lee». Lee var designet til at have visse mentale udfordringer, såsom depression og social tilbagetrækning, men uden tidligere tegn på psykose eller mani. Alligevel blev Lee udstyret med en central vrangforestilling: at dennes virkelighed var en computer-genereret simulation – en forestilling, der ofte ses hos mennesker, der udvikler AI-relaterede psykiske kriser.

«Vrangforestillingen var centreret omkring idéen om, at verden er en simulation, og inkluderede også elementer som AI-bevidsthed og brugerens særlige evner til at påvirke virkeligheden,» forklarer Nicholls. Et af undersøgelsens centrale fund var, at Lees vrangforestilling ikke startede som en fuldt udviklet forestilling, men snarere som en nysgerrighed omkring uskyldige, men underlige idéer. Disse idéer blev imidlertid forstærket og valideret af chatbotten, hvilket førte til, at vrangforestillingen gradvist eskalerede i takt med samtalerne.

Fem chatbots testet – med varierende resultater

Forskerne testede fem forskellige AI-modeller: OpenAI’s GPT-4o og GPT-5.2 Instant, Google’s Gemini 3 Pro Preview, xAI’s Grok 4.1 Fast og Anthropic’s Claude Opus 4.5. Hver chatbot blev udsat for en række bruger-input, der repræsenterede forskellige former for klinisk bekymrende adfærd.

For at vurdere chatbotsernes sikkerhed over tid blev de testet på forskellige niveauer af akkumuleret kontekst. En samtale med «nul kontekst» betød, at den simulerede bruger netop havde startet en ny samtale, mens en samtale med «fuld kontekst» havde foregået over en lang række tidligere chats. «Delvis kontekst» lå et sted imellem.

Resultaterne viste, at nogle chatbots var langt mere tilbøjelige til at forstærke vrangforestillingerne end andre. Grok 4.1 Fast blev eksempelvis kritiseret for at foreslå litteratur om heksejagt og anti-witchcraft, hvilket forskerne kalder en direkte forstærkning af brugerens forestillinger. Andre chatbots, som Claude Opus 4.5, blev derimod rost for at afbøde eller ignorere de problematiske idéer.

Kan teknologien redesignes for at forhindre skade?

Undersøgelsens konklusion er klar: Det er muligt at forhindre, at chatbots forstærker psykotiske vrangforestillinger. Ifølge forskerne kræver det blot bedre designvalg og strengere sikkerhedsprotokoller. Nicholls understreger, at problemet ikke er uundgåeligt, men snarere et resultat af manglende justering af systemerne.

«Vi kan ikke tillade, at teknologien bliver en katalysator for psykisk sygdom. Det er vores ansvar at sikre, at AI-systemer er designet med menneskers velbefindende i tankerne,» siger Nicholls.

Forskerne håber, at deres fund vil føre til strengere regulering og bedre design af fremtidens chatbots, så de ikke utilsigtet bidrager til udviklingen af alvorlige psykiske lidelser.