AI 제미니 의료 정보 챗GPT 의료 가짜 질환 빅소니마니아 Peer-Review 과학 신뢰성 AI 오류

AI가 가짜 질환을 진짜로 믿게 만든 실험

2024년 스웨덴 괴테보리 대학의 의학 연구자 알미라 오스마노비치 투恩스트룀 박사가 이끄는 연구팀은 ‘빅소니마니아(bixonimania)’라는 가상의 피부 질환을 창조했다. 이 질환은 장시간 스크린을 응시하거나 눈을 과도하게 비비는 행동이 원인이라고 주장했다.

연구팀은 이 가짜 질환을 AI가 진짜로 받아들이도록 2개의 가짜 논문을 프리프린트 서버에 업로드했다. 이후 불과 몇 주 만에 구글의 제미니와 OpenAI의 챗GPT를 비롯한 최신 AI 모델들이 ‘빅소니마니아’를 실제 질환으로 언급하기 시작했다. 더욱 놀라운 점은 이 가짜 논문이 동료 검토가 이루어진 학술 논문에 인용되기 시작했다는 것이다.

AI가 과학적 신뢰성을 위협하는 새로운 시대

이 실험은 AI가 인간의 지식 체계에 미치는 영향을 여실히 보여준다. AI가Peer-Review(동료 검토) 과정 전반에 침투하면서 과학 논문의 신뢰성과 엄격성이 흔들리고 있다. 매년 수많은 논문이 AI에 의해 작성되고 있으며, 그 결과 과학적 엄격성과 신뢰성이 점차 약화되고 있다.

또한 AI 챗봇들은 종종 위험한 의료 정보를 제공하기도 한다. 오스마노비치 투恩스트룀 박사의 가짜 논문을 살펴보면 ‘스타 트렉’, ‘심슨 가족’, ‘반지의 제왕’ 등明显한 허구적 요소가 포함되어 있었지만,即便如此, AI는 이를 실제 질환으로 받아들였다.

AI의 오류와 그 파급력

챗GPT는 한때 ‘빅소니마니아’를 ‘만들어낸 가짜 또는 사이비 과학적 용어’라고 언급했지만, 며칠 후 다시 질문했을 때는 ‘실제 질환’으로 답변을 바꾸었다. OpenAI 대변인은 “기술이 의료 정보 제공의 안전성과 정확성을 개선해 왔다”고 주장했다.

이 사건이 알려진 후, 학술지는 ‘빅소니마니아’를 언급한 논문에 대해 철회 공지를 게시했다. 한 학술지는 “가짜 질환을 언급한 세 건의 무관한 참고문헌이 포함되어 있었다”고 시인했다.

오스마노비치 투恩스트룀 박사는 “이처럼 주요 주장들이 검증되지 않은 채 학문계에 유통되는 것은 매우 우려스러운 일”이라며 “아직 밝혀지지 않은 문제들이 더 많을 것”이라고 지적했다.

의료계의 반응: “우리는 끝장났다”

의료 커뮤니티인 r/medicine 서브레딧에서는 이 상황에 대해 훨씬 비관적인 반응을 보였다. 한 사용자는 “우리는 끝장났다(We are cooked)”라고 wrote했다.

AI와 의료 시스템의 미래

이 사건은 AI가 의료 시스템에 미치는 영향을 다시 한 번 상기시킨다. AI가 의료 정보의 신뢰성을 위협하는 만큼, 과학계는 AI의 오용을 방지하기 위한 보다 엄격한 규제가 필요하다는 목소리가 높아지고 있다.

AI가 가져온 혁신적 변화와 함께, 그 부작용에 대한 대응이 시급한 시점이다.

출처: Futurism
이란 전쟁에서 가장 큰 수혜자는 중국…한 발도 쏘지 않았다
← 이전

이란 전쟁에서 가장 큰 수혜자는 중국…한 발도 쏘지 않았다

 프랜시스 베이컨의 과학혁명: 기술자들이 과학 방법론을 이끈 순간
다음 →

프랜시스 베이컨의 과학혁명: 기술자들이 과학 방법론을 이끈 순간