AI가 경찰업무를 왜곡하는 이유: 오인 체포와 무고한 유죄 판결의 심각성

2025년 10월 20일, 미국 메릴랜드주 볼티모어. 고등학교 풋볼 연습을 마친 17세 학생 타키 앨런(Taki Allen)은 학교 밖에서 휴식을 취하고 있었다. 그때 AI가 강화된 감시 카메라가 그의 주머니에 있는 도리토스 봉지를 총으로 오인식했다. 순식간에 경찰차가 도착했고, officers는 총을 겨누며 앨런을 무릎 꿇리게 한 뒤 수색했다. 결과는 오해에 불과했지만, 그 순간은 그에게 평생 남을 트라우마로 남았다.

같은 해 12월 24일, 테네시주 할머니 안젤라 립스(Angela Lipps)도 유사한 상황에 처했다. 얼굴 인식 소프트웨어가 노스다코타에서 발생한 사기 사건과 그녀를 잘못 연결한 탓에 5개월간 감옥에 수감된 것이다. 립스는 손자들을 돌보던 중 총을 겨눈 경찰에 의해 체포됐다. 그녀는 한 번도 가본 적 없는 주에서 일어난 범죄와 연관된 오판의 희생자였다.

이 두 사례는 AI 기술이 안고 있는 근본적인 문제를 드러낸다. 기술적 오류뿐만 아니라, 사람들이 AI의 객관성을 맹신하는 데서 비롯된 인권 침해가 발생한다는 점이다. 연구자들은 기술, 법, 공공행정의 교차점에서 AI가 어떻게 오용되는지 분석해왔다. 그 결과, AI 시스템이 확률을 예측하는 도구임에도 불구하고, 실제 운영에서는 이를 '확실성'으로 간주하는 문제가 빈번히 발생한다는 사실을 확인했다.

AI가 확률을 오판으로 이끄는 이유

AI가 생성형 모델(예: ChatGPT, Claude)으로 질문에 답할 때, 그것은 데이터 패턴을 기반으로 '가장 그럴듯한 답변'을 예측하는 것이다. 예를 들어 "백열등을 누가 발명했는가?"라는 질문에 AI는 ‘토머스 에디슨’이 가장 확률 높은 답변으로 내놓지만, 실제로는 조셉 스완이 동시에 발명했다는 역사적 사실은 생략된다. 문제는 사람들이 AI의 답변을 '사실'로 받아들이는 데서 발생한다.

경찰업무에서도 같은 문제가 반복된다. AI는 범죄 데이터를 분석해 위험 지역을 예측하는 도구로 활용되지만, 그 예측은 확률에 불과하다. 그럼에도 불구하고 경찰은 AI의 경고를 '확실한 위협'으로 간주하고 즉각 대응에 나선다. 결과적으로 확률이었던 예측은 운영상의 결정으로 변환되며, 그 불확실성은 사라진다. AI가 제공하는 통계적 가능성은 법적 판단이나 인권 보호에 있어서는 결코 '확실성'이 될 수 없다.

AI 경찰 시스템의 실체와 문제점

미국 전역의 수십 개 도시에서 AI 기반 경찰 시스템이 도입되고 있지만, 그 전체적인 사용 현황을 추적할 수 있는 공공 레지스트리는 없다. 이 시스템은 과거 범죄 데이터를 바탕으로 특정 지역을 '위험 지역'으로 분류하고, 경찰의 배치 우선순위를 결정한다. 그러나 이 과정에서 발생하는 오류는 인명 피해로 이어질 수 있다.

• 데이터 편향성: AI는 과거 범죄 데이터를 학습하지만, 이 데이터 자체가 인종, 지역, 사회경제적 요인에 따라 편향되어 있을 수 있다. 결과적으로 AI는 특정 집단에 불리한 판단을 내리게 된다.
• 과도한 신뢰: 경찰관들은 AI의 예측을 무조건 신뢰하는 경향이 있다. 그러나 AI는 확률을 기반으로 하므로, 오류 가능성을 내포하고 있다.
• 투명성 부족: AI 시스템의 작동 원리와 오류 가능성에 대한 공개가 부족하다. 시민들은 자신이 왜 감시 대상이 되었는지조차 알지 못하는 경우가 많다.

법적 책임과 인권 보호의 필요성

AI가 초래한 오판은 단순히 기술적 오류가 아니라, 인권 침해와 법적 오류로 이어질 수 있다. 특히 무고한 시민이 체포되거나 유죄 판결을 받는 경우, 그 피해는 돌이킬 수 없다. AI 시스템의 오용을 방지하기 위해서는 다음과 같은 조치가 필요하다.

• 투명한 운영: AI 시스템의 사용 현황, 오류율, 편향성 등에 대한 공개가 필수적이다. 시민들은 자신이 감시 대상이 되는 이유와 AI의 한계를 이해할 권리가 있다.
• 인간 감독 강화: AI의 예측은 보조 도구일 뿐이며, 최종 결정은 인간의 판단에 따라야 한다. AI가 내린 경고에 대한 검토 절차가 필요하다.
• 법적 책임 규정: AI 시스템의 오류로 인한 피해에 대해 법적 책임을 명확히 해야 한다. AI 개발자와 사용 기관 모두 책임을 져야 한다.
• 사회적 논의: AI가 경찰업무에 미치는 영향을 놓고 시민, 전문가, 정부가 함께 논의해야 한다. 기술의 발전이 인권을 침해하지 않도록 제도적 장치를 마련해야 한다.

"AI는 도구일 뿐이며, 그 예측은 확률에 불과하다. 그러나 사람들이 이를 '확실성'으로 받아들이면, 그 결과는 인권 침해와 법적 오류로 이어질 수밖에 없다."
— AI와 법 연구자

결론: 기술과 인권의 균형 잡기

AI는 경찰업무의 효율성을 높일 수 있는 잠재력을 가지고 있지만, 그 사용은 신중해야 한다. AI가 확률을 예측하는 도구라는 사실을 인식하고, 인간의 판단과 책임을 배제하지 않는 시스템을 구축해야 한다. 그렇지 않으면, AI는 무고한 시민을 보호하기는커녕, 새로운 형태의 인권 침해를 초래할 것이다.

미래의 경찰 시스템은 기술의 발전과 인권 보호가 균형을 이룰 때, 비로소 공정하고 안전한 사회를 구현할 수 있을 것이다.