미국 뉴욕 남부지방법원( S.D.N.Y. )은 지난 24일 ‘Jimenez-Fogarty v. Fogarty’ 사건에서 AI가 생성한 존재하지 않는 판례를 인용한 혐의로 변호사 트리샤 S. 린드(Lindsay)에게 2,500달러의 제재금을 부과했다고 밝혔다.

린드 변호사는 2024년 뉴욕 주 의회 선거 출마자 사이 말레나 짐네스-포가티(Sai Malena Jimenez-Fogarty)의 대리인으로 활동하며 제출한 두 건의 소송 관련 문서에 실제 존재하지 않는 판례를 인용했다. 이 문서들은 법정에서 두 건의 기각 신청에 대한 답변으로 제출된 ‘법률 의견서’였다.

법원은 린드 변호사에게 허위 자료 제출 혐의에 대한 설명을 요구하는 ‘ OSC( Order to Show Cause )’를 발부했으며, 린드의 답변을 검토한 결과 제재가 불가피하다고 판단했다. 법원은 “린드의 인용문은 단순히 오타나 잘못된 출처가 아니라 완전히 fabricated(날조된) 것”이라고 지적했다.

법원이 ‘완전히 날조됐다’고 판단한 인용문의 특징

  • 존재하지 않는 판례명을 인용하거나, 인용된 판례가 제시된 출처에서 전혀 찾을 수 없는 경우
  • 제시된 판례가 주장된 법리와 전혀 무관한 경우
  • AI가 생성한 ‘환각(Hallucination)’ 인용문으로, 법적 근거로 전혀 쓸 수 없는 경우

린드 변호사는 AI가 생성한 인용문을 사용한 사실 자체는 인정했으나, 그 출처나 생성 과정을 명확히 설명하지 못했다. 법원은 그녀의 답변이 “구체적인 설명 없이 추상적인 주장만 반복한다”며 “가장 기본적인 질문인 ‘어디서 인용문을 얻었는가?’에 대한 답변조차 없다”고 비판했다.

린드는 답변에서 “정확성과 윤리 준수를 위한 체계적인 검토 과정을 따르고 있다”고 주장했으나, 정작 해당 사건의 문서 작성 과정에 대해선 아무런 설명을 하지 않았다. 법원은 이 같은 태도를 두고 “표준적인 변명 패턴을 따르지 않았다”며 제재를 결정했다.

이 사건은 AI가 법정 문서 작성 과정에서 발생시킬 수 있는 위험성을 다시 한 번 보여주는 사례다. 최근 AI 도구가 법조계에 급속히 확산되면서 허위 인용문, 오류, 윤리적 문제 등이 빈번히 지적되고 있다. 법원은 AI 사용 시 발생할 수 있는 ‘환각’ 현상에 대한 경각심을 높이고, 변호사들에게 엄격한 검증 절차를 요구하고 있다.

출처: Reason