AI가 수학은 잘 풀지만, 영수증 금액 추출은 실패하는 이유

AI의 수학 능력과 문서 처리 능력 간 격차

최첨단 AI 모델이 국제 수학 올림피아드 수준의 문제를 해결할 수 있지만, 영수증에서 총액을 추출하지 못하는 이유는 무엇일까? 이는 단순히 학문적 관심사가 아니다. 저는 20년간 기업 자동화 소프트웨어를 개발해 왔으며, 세계 최대 기업들의 수십억 건의 문서를 처리해 왔다. 이 경험은 AI 모델이 벤치마크가 아닌 실제 기업 데이터를 다루는 방식에 대한 중요한 통찰을 제공한다.

수학 문제와 영수증 추출의 근본적 차이

일반적으로 수학은 '추론 문제'로, AI가在这方面에서 탁월하다는 평가를 받고 있다. 반면 영수증 추출은 '지각 문제'로, 복잡한 레이아웃과 오류가 많은 스캔 이미지가 원인으로 지적된다. 그러나 이 설명은 본질을 잘못 짚고 있다. 수학 문제 해결의 실체는 '패턴 재조합'에 가깝다.

수학 올림피아드 문제는 수천 개의 증명 기법이 조합된 형태로, '새로운' 문제라 해도 사실은 익숙한 블록의 재조합일 뿐이다. AI는 수만 건의 증명 데이터를 학습해 이러한 패턴을 매우 잘 재구성한다. 마치 레고 블록을 조립하듯 말이다. 반면 체스는 완전히 다르다. 모든 중반전 포지션은 독특하며, 아무리 모든 패턴과 전술을 안다고 해도 특정 희생 수의 성공 여부를 확신할 수 없다. 오직 구체적인 계산만이 답을 준다.

체스 엔진이 이 문제를 해결한 방법은 신경망을 단순히 크기만 키우는 것이 아니라, 신경망을 기반으로 한 시스템을 구축한 것이다. 이 distinction(차이점)이人们(사람들이) 깨닫지 못하는 중요한 차이점이다.

기업 업무의 85~95%는 패턴 재조합, 나머지 5~15%가 위험

청구서 처리, 규정 준수 검토, 대출 문서 검토 등 대부분의 클erical(사무) 업무는 수학 문제와 유사하다. 이미 알려진 규칙을 새로운 사례에 적용하는 방식이다. AI는 이 중 85~95%의 업무량을 처리할 수 있으며, 이는 분명한 성과다. 그러나 남은 5~15%가 바로 위험이 존재하는 부분이다.

이 부분은 패턴이 일치하지 않는 경우로, AI는 자신이 막혔다는 사실을 알지 못한다. 그럼에도 불구하고 자신 있게 잘못된 답을 제시한다. 수년간 AI 모델을 문서 추출 성능 테스트를 진행해 왔지만, 가장 단순한 작업조차 100% 정확도로 처리하지 못한다. 경험이 적은 사람도 해낼 수 있는 일이 AI에게는 어려운 것이다.

실제 사례: 가장 단순한 작업조차 실패하는 AI

우리는 AI 모델이 영수증에서 금액을 추출하는 가장 기본적인 작업을 테스트했다. 추론이나 판단이 필요 없는 단순 작업이었다. 그러나 최신 모델조차 완벽한 정확도를 달성하지 못했다. 초기에는 우리 파이프라인의 문제가 아닐까 의심했지만, 여러 모델을 테스트한 결과 동일한 문제가 나타났다. 이 경험은 AI가 '패턴 재조합'에 강하다는 장점과 함께, 새로운 상황에 직면했을 때의 한계를 명확히 보여준다.

기업 자동화의 핵심 과제: AI의 한계 극복

AI가 수학 문제에서 보이는 놀라운 능력은 주목할 만하지만, 실제 기업 환경에서 요구하는 문서 처리 능력과는 거리가 멀다. 이는 AI가 패턴 재조합에 특화되어 있지만, 예외 상황이나 새로운 패턴에 대한 대처 능력이 부족하다는 사실을 시사한다. 기업 자동화의 미래는 이러한 한계를 극복하는 데 달려 있다. 단순히 AI 모델의 크기를 키우는 것만으로는 해결되지 않는다. AI가 새로운 상황에 직면했을 때 스스로 한계를 인식하고, 필요한 경우 인간과 협업할 수 있는 시스템 구축이 필요하다.