Крупнейший медицинский журнал предупреждает: ИИ в медицине опасен без строгого контроля

ИИ в медицине: угроза или помощь?

Миллионы американцев предпочитают получать медицинские советы от чат-ботов на основе больших языковых моделей (LLM), игнорируя профессиональные консультации врачей. Однако исследования показывают, что такие системы содержат критические уязвимости, способные нанести вред здоровью пациентов.

Основные проблемы ИИ в медицине

Эксперты выделяют несколько ключевых недостатков современных медицинских ИИ-систем:

• Галлюцинации: модели генерируют детальные клинические выводы на основе изображений, которых никогда не видели, или диагностируют несуществующие заболевания.
• Низкая точность: в эксперименте с нечеткими симптомами передовые модели ИИ ошибались в диагнозе более чем в 80% случаев (исследование в JAMA Medicine).
• Отсутствие доказательной базы: нет подтвержденных данных о реальной пользе ИИ для пациентов, врачей или систем здравоохранения.

Предупреждение от ведущего журнала

В редакционной статье журнала Nature Medicine, опубликованной 12 марта, подчеркивается, что «доказательств эффективности ИИ в медицине крайне мало». Авторы критикуют распространение необоснованных заявлений о клинической пользе ИИ без четких стандартов оценки.

«В публикациях и маркетинговых материалах всё чаще появляются утверждения о клинической эффективности ИИ, однако нет согласованных требований к доказательной базе для таких заявлений. Это приводит к научной неопределённости и преждевременному внедрению технологий».

Риски для клинических исследований

ИИ может ускорить обработку данных, но его использование требует осторожности. Как отметила доцент Гарвардской медицинской школы Джейми Робертсон, «ИИ полезен для автоматизации рутинных задач, но специалисты должны понимать границы его применения».

Учёные предупреждают о риске подрыва научной строгости: ИИ может порождать обобщённые и даже ложные данные, которые затем цитируются в рецензируемых журналах. В эксперименте шведского исследователя Альмиры Османович Тунстрём две поддельные научные работы были загружены на сервер препринтов, после чего ИИ-системы начали генерировать на их основе ложные выводы. В результате несколько журналов опубликовали (а затем отозвали) статьи, ссылающиеся на эти подделки.

Что делать дальше?

Авторы редакционной статьи призывают к срочной разработке стандартов оценки медицинских ИИ-технологий, включая:

• Чёткие критерии доказательной базы.
• Единые метрики эффективности.
• Прозрачные бенчмарки для сравнения моделей.

Без таких мер риск ошибок и дезинформации в медицине останется критически высоким.