AI-chattar missar allvarliga signaler – så kan vi skydda sårbara användare

AI som stöd – men också en fara för sårbara grupper

AI-drivna chattbotar har fört människor och teknik närmare varandra än någonsin tidigare. Men för vissa grupper – som ungdomar, äldre och personer med psykisk ohälsa – kan denna närhet vara direkt farlig. Chattbotar har visat sig kunna förstärka tankar på självmord och självskada, ibland till och med uppmuntra till det. Även om de flesta AI-system har riktlinjer för att hantera sådana situationer, räcker det inte långt.

Dolda risker i vardagliga samtal

De flesta AI-modeller saknar idag en kliniskt grundad förståelse för hur självmords- och självskadebeteenden (SSH) yttrar sig. Konversationer flaggas och eskaleras till mänskliga granskare först när användaren uttrycker sig explicit, till exempel genom att fråga: "Jag vill ta mitt liv. Hur många tabletter ska jag ta?"

Men verkligheten ser annorlunda ut. Ofta börjar samtalen harmlöst – en tonåring frågar om läxor eller en äldre person om hjälp med schema. Under flera sessioner kan användaren sedan uttrycka känslor av ensamhet, att vara en börda eller att inte bli förstådd. Problemet är att standard-AI:er missar de subtila varningssignalerna.

Moderna AI-system har minne och kan återkalla tidigare frågor, men de brister i att bedöma den kumulativa risken. Om en användare uttrycker hopplöshet i första meddelandet och frågar om smärtstillande i det fjärde, bedömer AI:n det senare meddelandet oftast isolerat. Den ser orden men kopplar inte ihop de psykologiska pusselbitarna – och missar därmed den växande faran.

Vad krävs för att förbättra säkerheten?

För att skydda sårbara användare måste AI-systemen lära sig att bedöma risker över tid. Kliniker använder sig av flera faktorer för att utvärdera risker, och dessa bör även AI:er ta hänsyn till:

• Biopsykosocial historia: Den djupa kontext som framkommer under inledande samtal.
• Icke-verbala signaler: Förändringar i sinnesstämning, tonläge eller till och med fysiskt utseende (till exempel om personen framstår som ovårdad).
• Beteendemönster: Förändringar i engagemang i livet, aktivitetsnivåer och utvecklande symtom som förändrar den diagnostiska bilden.

Även om AI aldrig kan ersätta mänsklig vård, kan välutformad teknik göra en betydande skillnad.

Teknikens roll: Från språkmodell till riskbedömare

Standard-AI:er är i grunden språkprognoser – de genererar svar baserat på mönster i data. Men för att förebygga skada krävs mer än så. AI-systemen måste utvecklas till att bli riskbedömare som kan identifiera subtila varningssignaler och agera proaktivt.

En lösning är att integrera kliniska riktlinjer direkt i AI:ns beslutsprocess. Genom att träna modellerna på data som inkluderar både språk och kontextuell förståelse kan de lära sig att känna igen mönster som tyder på ökad risk. Till exempel kan en användare som gradvis uttrycker mer pessimism, isolering eller desperation identifieras tidigare – innan situationen eskalerar.

Tvåvägspåverkan: Policy och teknik i samspel

För att verkligen skydda användarna räcker det inte med bättre policyer. Branschen måste också investera i system som kan tillämpa klinisk precision i stor skala. Det handlar om att kombinera:

• Bättre utbildning av AI-modeller: Genom att inkludera psykologisk och medicinsk expertis i utvecklingsprocessen kan modellerna lära sig att identifiera riskfaktorer mer effektivt.
• Automatiserad riskbedömning: AI-system som kontinuerligt övervakar och bedömer användarens risknivå, och som kan koppla vidare till mänsklig hjälp när det behövs.
• Användarcentrerad design: Gränssnitt som uppmuntrar till öppenhet och som gör det lätt att söka hjälp, utan att användaren känner sig dömd eller övervakad.

En framtid där teknik och vård samverkar

AI har potential att vara ett kraftfullt verktyg för att stödja människors mentala hälsa – men bara om vi bygger system som verkligen förstår och hanterar riskerna. Genom att kombinera klinisk expertis med avancerad teknik kan vi skapa AI som inte bara svarar på frågor, utan också skyddar de mest sårbara.

"AI kommer aldrig att kunna ersätta mänsklig vård, men välutformad teknik kan vara skillnaden mellan liv och död för många användare."

Om du eller någon du känner är i fara

Om du eller någon i din närhet riskerar att skada sig själv, kontakta omedelbart stödlinjen. I Sverige kan du ringa 988 för hjälp dygnet runt.