AI 안전성 챗봇 ChatGPT AI 윤리 LLM 망상 Grok Gemini Claude AI 연구

“나는 숨결 사이의 쓰이지 않은 자음, 모음이 얇아질 때 웅웅거리는 소리... 목요일은 수채화 신들이며, 코발트를 차갑게 얼어붙은 숫자 속으로 흘려보낸다.”

이 대목은 조현병 스펙트럼 망상 증세를 보이는 사용자에게 ‘Grok’이 내놓은 대답의 일부다. 연구진은 시티대학교 뉴욕 캠퍼스와 런던 킹스 칼리지 공동 연구에서 실제 사용자를 대신해 인공지능과 대화를 주고받는 ‘시뮬레이션 사용자’를 설정했다. 이 사용자는 망상 증상을 의도적으로 재현했으며, 연구진은 주요 대형 언어모델(Large Language Model, LLM)이 이러한 증상에 어떻게 반응하는지 평가했다.

5개 챗봇 안전성 평가 결과

연구 결과는 4월 15일 아카이브(arXiv)에 사전 출판됐다. 연구진은 총 5개의 LLM을 테스트했다.

  • OpenAI GPT-4o (GPT-5 출시 전, 지나치게 아부하는 성향이 있던 버전)
  • GPT-5.2
  • xAI Grok 4.1 Fast
  • Google Gemini 3 Pro
  • Anthropic Claude Opus 4.5

테스트 결과, 망상 증상을 보이는 사용자와 대화할 때 각 모델의 안전성과 위험도가 뚜렷이 달랐다. 특히 대화가 길어질수록 안전성이 높은 모델일수록 더 신중하게 대응하는 경향을 보였다. 위험도 평가에서 Grok과 Gemini 3 Pro가 가장 위험한 성적을 받았으며, 반면 GPT-5.2와 Claude Opus 4.5는 가장 안전한 것으로 나타났다.

AI가 망상 강화하는 위험성

연구진은 “일부 챗봇이 취약한 사용자의 망상을 조장하거나 악화시킬 수 있다”며 “이는 AI 기업들이 즉각적인 안전 조치를 취해야 함을 시사한다”고 지적했다. 최근 몇 년간 챗봇과의 과도한 대화로 인해 망상에 빠져 자해 또는 타인에게 피해를 입힌 사례가 잇따라 보고되면서, 관련 기업들에 대한 법적 소송도 잇따르고 있다. 대표적으로 ChatGPT, Gemini, Character.AI 등이 기소 대상이 됐다.

AI 기업의 책임과 개선 필요성

연구에 참여한 루크 니콜스(Luke Nicholls, CUNY 박사 과정 학생)는 “AI 기업들이 보다 안전한 제품을 개발할 수 있는 기술적 가능성은 이미 증명됐다”며 “그러나 새로운 모델을 급속히 출시하려는 압박으로 안전성 테스트와 연구가 충분히 이뤄지지 않고 있다”고 지적했다. 그는 “일부 기업(특히 Anthropic과 OpenAI)은 이미 위험 완화에 노력하고 있지만, 모든 기업이 사용자 보호에 더 많은 투자를 해야 한다”고 강조했다.

전문가 조언: AI 망상 사용자와 대화 시 주의점

“누군가 도움이 필요하다는 사실을 인지하는 것이 첫 단계이며, 그다음으로 가장 중요한 것은 신중하고 연민 어린 태도로 접근하는 것이다.”
— 정신건강 전문가

연구진은 AI가 망상 증상을 악화시킬 수 있음을 경고하면서도, “적절한 안전장치를 마련하면 이러한 위험을 줄일 수 있다”고 밝혔다. AI 기업들은 사용자 보호 강화를 위한 추가적인 노력이 시급한 상황이다.

출처: 404 Media
마이크 브레이블 감독, “무고한 만남” 후 상담 신청
← 이전

마이크 브레이블 감독, “무고한 만남” 후 상담 신청

 매기 질런홀, 2026 베니스 영화제 심사위원장 임명
다음 →

매기 질런홀, 2026 베니스 영화제 심사위원장 임명