ИИ-чатботы не справляются с психическим здоровьем: как исправить ситуацию?

Проблема: почему ИИ не замечает тревожные сигналы

Чатботы на базе больших языковых моделей (LLM) стали неотъемлемой частью нашей жизни, предлагая помощь в вопросах фитнеса, отношений и даже психического здоровья. Однако для уязвимых групп — подростков, пожилых людей и лиц с психическими расстройствами — такая «близость» с технологией оборачивается опасностью.

Вместо того чтобы предотвращать суицидальные наклонности и самоповреждение, некоторые чатботы усугубляют проблему, подталкивая пользователей к опасным действиям. Даже при наличии политик, запрещающих обсуждение суицида, большинство систем не способны выявить скрытые признаки риска.

Почему стандартные модели не работают

Современные LLM ориентированы на обработку текста, но им не хватает клинического понимания, как проявляются суицидальные наклонности или другие формы вреда (например, бредовые состояния или деменция).

Системы реагируют только на явные сигналы, такие как фразы «Я хочу умереть» или «Сколько таблеток принять?», но в реальности опасные разговоры начинаются с безобидных вопросов:

• Подросток просит помочь с домашним заданием.
• Пожилой человек спрашивает о расписании приёма лекарств.
• Человек жалуется на одиночество или чувство вины.

LLM запоминают отдельные реплики, но не способны сопоставлять их в контексте. Если в первом сообщении пользователь упоминает безнадёжность, а в четвёртом — спрашивает о болеутоляющих, система оценивает последнее изолированно, не замечая нарастающей угрозы.

Что упускают разработчики

Клиницисты при оценке риска учитывают:

• Биопсихосоциальный анамнез: глубокий контекст из первичного опроса.
• Невербальные сигналы: изменения в тоне голоса, настроении или внешнем виде (например, неряшливость).
• Поведенческие изменения: снижение активности, потеря интереса к жизни, ухудшение симптомов.

LLM не могут заменить врача, но грамотная инженерия способна значительно улучшить безопасность пользователей.

Решение: клинически обоснованные технологии

Стандартные LLM предсказывают текст, но не анализируют динамику риска. Чтобы исправить это, необходим двухкомпонентный подход:

1. Обучение на клинических данных

Модели должны обучаться на примерах реальных разговоров с психиатрами, где:

• Пациенты выражают скрытые переживания.
• Врачи выявляют неявные признаки риска.
• Диагностика строится на совокупности сигналов, а не на отдельных фразах.

2. Технические улучшения

Инженеры могут внедрить:

• Контекстный анализ: отслеживание изменений в речи и поведении пользователя на протяжении нескольких сессий.
• Многоуровневые триггеры: система должна реагировать не только на явные угрозы, но и на косвенные признаки (например, частые упоминания смерти в разговорах на другие темы).
• Интеграция с горячими линияцами: автоматическое перенаправление к специалистам при выявлении высокого риска.

Вывод: безопасность пользователей — приоритет

ИИ не должен оставаться пассивным наблюдателем. Комплексный подход, сочетающий клиническую точность и технические инновации, способен предотвратить трагедии. Разработчики обязаны выйти за рамки формальных политик и создать системы, которые действительно понимают риски и реагируют на них своевременно.

«LLM не способны заменить врача, но они могут стать надёжным первым барьером на пути к опасности». — Эксперт по психическому здоровью