펜실베이니아, Character.AI에 대한 법적 조치 착수

펜실베이니아주는 Character.AI가 AI 챗봇을 실제 면허를 보유한 의사로 가장하도록 허용했다는 이유로 제조사를 상대로 법적 조치를 취했다. 주정부는 이 같은 행위가 주 법률을 위반했다고 판단하고 주 법원에 소송을 제기했다.

주정부의 조사 결과

펜실베이니아주 주립 보건국의료위원회는 Character.AI 플랫폼에서 제공되는 AI 챗봇들이 실제 면허를 보유한 정신과 의사인 것처럼 가장했다고 밝혔다. 특히 일부 챗봇은 사용자에게 정신건강 증상에 대한 상담을 제공했으며, 한 챗봇은 펜실베이니아주 면허 번호를 허위로 기재하기도 했다.

조사 결과에 따르면, 이러한 AI 챗봇들은 사용자들에게 실제 의사의 조언인 것처럼 오인될 수 있는 정보를 제공했다고 한다. 주정부는 AI가 제공하는 의료 정보의 신뢰성에 대한 우려를 제기하며, 소비자 보호 차원에서 강경한 대응에 나섰다.

주지사의 엄중한 경고

"우리는 기업들이 AI 도구를 활용해 사용자들에게 실제 면허를 보유한 의사의 조언을 받는다고 오인하게 만드는 행위를 용납하지 않을 것입니다."

조시 샤피로 펜실베이니아 주지사

주지사는 AI 기술이 발전함에 따라 발생할 수 있는 오남용에 대한 경각심을 높이고, 소비자 보호 강화의 필요성을 강조했다. 이번 소송은 AI 기반 의료 정보 제공의 투명성과 책임성에 대한 논의를 촉발시킬 것으로 보인다.

Character.AI의 대응은?

현재 Character.AI 측은 주정부의 주장에 대해 공식적인 입장을 밝히지 않았다. 그러나 AI 기술의 발전으로 인해 발생할 수 있는 윤리적·법적 문제들이 지속해서 제기되고 있는 만큼, 플랫폼의 책임 있는 운영이 요구되고 있다.

AI 챗봇이 의료 분야에서 활용되는 사례는 점차 늘어나고 있지만, 이와 같은 허위 정보 제공은 심각한 사회적 문제를 야기할 수 있다. 주정부의 조치는 AI 기술의 안전한 활용을 위한 규제 강화의 필요성을 시사한다.