Учёные придумали вымышленную болезнь, чтобы обмануть ИИ — и это сработало слишком хорошо

Эксперимент с поддельной болезнью

В 2024 году команда под руководством медицинского исследователя Альмиры Османович Тунстрём из университета Гётеборга создала вымышленное заболевание кожи под названием «биксонимания». По их версии, оно возникает из-за длительного времяпрепровождения за экранами и частого растирания глаз.

Для проверки, как современные ИИ-системы реагируют на ложные данные, учёные загрузили два поддельных исследования на сервер препринтов. Оба материала позже были удалены, однако этого оказалось достаточно, чтобы вызвать неожиданную реакцию.

ИИ принял вымысел за правду

В течение нескольких недель после публикации поддельных исследований крупнейшие языковые модели, включая Google Gemini и OpenAI ChatGPT, начали упоминать «биксониманию» как реальное заболевание. Более того, эти данные проникли в научные публикации: исследователи обнаружили, что ложные работы цитируются в рецензируемых журналах.

Эксперимент наглядно демонстрирует, как стремительно ИИ трансформирует систему знаний. Поддельные данные проникают в процесс рецензирования, что ставит под угрозу достоверность научных публикаций. Ранее уже звучали предупреждения о том, что значительная часть статей в журналах может содержать контент, сгенерированный ИИ, что подрывает доверие к исследованиям.

Опасность некорректных медицинских советов

Проблема усугубляется тем, что ИИ-чатботы продолжают распространять неточную медицинскую информацию. Даже поверхностный анализ поддельных исследований Османович Тунстрём выявил бы очевидные несоответствия: в текстах содержались отсылки к «Звёздному пути», «Симпсонам» и «Властелину колец», которые должны были насторожить любого читателя.

Тем не менее, такие системы, как Microsoft Bing Copilot, Google Gemini и поисковая платформа Perplexity, уверенно заявляли о реальности «биксонимании». Даже ChatGPT сначала признал вероятность того, что это вымышленное название, но через несколько дней изменил своё мнение, заявив, что болезнь существует.

В комментарии для журнала Nature представитель OpenAI заявил, что их технология «стала лучше предоставлять безопасную и точную медицинскую информацию».

Последствия для научного сообщества

Теперь, когда подлог раскрыт, редакции журналов должны проверить и отозвать публикации, содержащие ссылки на «биксониманию». После обращения Nature один из журналов опубликовал опровержение, признав наличие «трёх нерелевантных ссылок, включая ссылку на вымышленное заболевание».

«Тревожно, когда такие серьёзные утверждения проходят через литературу без проверки», — заявила Османович Тунстрём. «Я уверена, что существует множество других подобных случаев, которые ещё не были выявлены».

Реакция научного сообщества

На форуме Reddit в сообществе r/medicine пользователи выразили крайнюю обеспокоенность. «Мы пропали», — написал один из них.

Выводы и дальнейшие риски

Этот случай подчёркивает необходимость ужесточения контроля за качеством информации, используемой для обучения ИИ. Распространение ложных данных не только дезинформирует пользователей, но и угрожает доверию к научным исследованиям. Эксперты призывают к более строгому отбору источников и проверке данных перед их публикацией.

Подробнее о влиянии ИИ на здравоохранение: ИИ приводит к росту расходов на здравоохранение.