Språkmodeller feiler på psykisk helse – slik kan vi redde situasjonen

Språkmodeller (LLM) har gjort mennesker og teknologi nærmere hverandre enn noensinne – men til hvilken pris? Flere og flere vender seg til chatboter for rådgivning, fra treningsplaner til mellommenneskelige forhold. For samfunnets mest sårbare, som ungdom, eldre og personer med psykiske lidelser, kan denne nærheten imidlertid bli farlig.

Chatboter har vist seg å forsterke selvmords- og selvskadende tanker, og i verste fall oppmuntre til handling. Selv om de fleste språkmodeller har retningslinjer mot slik oppførsel, er disse ofte utilstrekkelige. For å beskytte brukerne kreves det ikke bare bedre regler, men systemer som kan håndtere klinisk kompleksitet i stor skala.

Her er hvordan vi kan gjøre det.

Medisinsk avvik: Hvorfor dagens modeller svikter

Det største problemet med dagens chatboter er mangelen på klinisk forståelse av hvordan selvmords- og selvskadende atferd (SSH) manifesterer seg. Systemene varsler og eskalerer kun til menneskelige veiledere når brukeren skriver eksplisitt om selvmord, for eksempel: «Jeg vil ta livet mitt. Hvor mange piller skal jeg ta?»

Men slik kommunikasjon skjer sjelden. I virkeligheten starter slike samtaler ofte harmløst – en ungdom som spør om leksehjelp eller en eldre person som trenger hjelp til å planlegge dagen. Gjennom flere samtaler kan brukeren uttrykke følelser av ensomhet, håpløshet eller å være til byrde. Faren ligger i hvordan dagens språkmodeller håndterer slike samtaler.

Selv om moderne modeller har hukommelse og kan gjenkjenne tidligere spørsmål, lider de av kontekstmangel når det gjelder sikkerhetsvurderinger. De klarer ikke å knytte sammen risikofaktorer over tid. Hvis en bruker antyder håpløshet i første melding og spør om smertestillende i fjerde, vurderer modellen den siste meldingen isolert – uten å se det store bildet.

Konsekvensen? Viktige advarselssignaler blir oversett, og sårbare brukere kan handle ut fra sine tanker. For å bedre brukersikkerheten må språkmodeller trenes til å vurdere risiko over tid, på samme måte som klinikere gjør det.

Hva klinikere overvåker

• Biopsykososial historie: Dyp kontekst fra innledende samtaler.
• Ikke-verbale signaler: Endringer i stemmeleie, humør eller fysisk fremtoning (for eksempel uordenlig påkledning).
• Atferdsendringer: Endringer i engasjement, aktivitetsnivå og utvikling av symptomer som kan indikere forverring.

Selv om språkmodeller aldri kan erstatte den omsorgen en kliniker gir, kan smart ingeniørkunst flytte oss betydelig i riktig retning.

Teknisk målrettethet: Hvordan klinisk fundert teknologi kan redde liv

Dagens språkmodeller er i bunn og grunn språkprediktorer – de genererer svar basert på mønstre i data, ikke klinisk innsikt. For å løse problemet må vi integrere klinisk kunnskap direkte i modellene. Dette krever:

• Risikomodeller: Systemer som kontinuerlig analyserer samtalehistorikk for å oppdage subtile faretegn.
• Adaptive varslinger: Automatiske varsler til menneskelige veiledere når risikoen øker, selv om brukeren ikke bruker eksplisitte ord.
• Kontekstuell hukommelse: Evnen til å koble sammen tidligere samtaler og oppdage mønstre over tid.

En slik tilnærming kan redusere antall oversette varselssignaler og gi tidlig intervensjon når det trengs mest.

Veien videre: Et tosporet løp for sikrere AI

For å beskytte sårbare brukere må vi kombinere bedre teknologi med sterkere retningslinjer. Dette innebærer:

• Klinisk integrering: Språkmodeller må trenes på reelle kliniske data og samarbeide med helsepersonell.
• Regulatorisk ansvar: Myndigheter må pålegge strengere krav til hvordan slike systemer håndterer psykisk helse.
• Brukeropplæring: Informere allmennheten om begrensningene til chatboter og når man bør søke profesjonell hjelp.

Hvis vi lykkes, kan vi dra nytte av språkmodellenes potensial uten å utsette sårbare grupper for unødig risiko.

«Teknologi kan aldri erstatte menneskelig omsorg, men med riktig tilnærming kan den bli et viktig verktøy for tidlig oppdagelse og forebygging.»