AI klarar avancerad matematik – men klarar inte av att läsa en faktura. Varför är det ett problem?

AI:s framgångar och verklighetens utmaningar

Varför kan de mest avancerade AI-modellerna i världen lösa avancerade matematiska problem, men misslyckas med att korrekt extrahera ett belopp från en faktura? Den frågan har jag brottats med under många år. Sedan två decennier bygger jag automatiseringslösningar för stora företag och har processat miljarder dokument. Erfarenheten visar att AI:s prestationer i verkliga scenarier skiljer sig markant från laboratorietester.

Matematik vs. dokumentläsning

Den traditionella förklaringen är att matematik är ett resonemangproblem, medan fakturor handlar om perception – oordnade layouter, dåliga skanningskvaliteter – och att bättre modeller löser problemet. Men jag tror att denna uppfattning är felaktig.

Hur AI hanterar matematik

När en AI löser en avancerad matematisk uppgift ser det ut som resonemang, men i själva verket handlar det om komponerbar mönstermatchning. Tävlingsmatematik bygger på ett begränsat antal bevismetoder som återkommer i olika kombinationer. AI-modellen har tränats på tusentals bevis och kan effektivt kombinera dessa. Det är inte verklig resonemangsförmåga, utan snarare förmågan att känna igen och återanvända tidigare inlärda mönster.

Schack är en annan historia. Varje seriöst mellanspel är unikt, och även om du känner till alla taktiska idéer kan du ändå missbedöma om ett offer är korrekt. Endast genom att beräkna konkreta linjer kan du avgöra utfallet. Schackdatorer löste detta genom att bygga system runt neurala nätverk, inte genom att göra nätverken större.

Var risken ligger

De flesta administrativa uppgifter – som skadereglering, efterlevnadskontroller eller lånedokumentgranskning – liknar matematikproblemet. AI kan hantera 85–95 % av fallen korrekt, vilket är en stor vinst. Men det är i de återstående 5–15 % som riskerna uppstår. Dessa fall handlar om situationer där mönstret inte matchar det förväntade. Problemet är att AI-modellen inte inser att den fastnat. Den ger ändå ett självsäkert svar.

AI:s svaghet i enkla uppgifter

Under flera år har vi testat AI-modeller för dokumentextrahering. Inte på extremfall, utan på vanliga fakturor. Den enklaste uppgiften: läs av ett belopp och placera det i rätt fält. Ingen resonemangsförmåga krävs. Ändå klarar inte ens de bästa modellerna detta till 100 % korrekt. En mindre erfaren människa gör det.

Jag minns när vi först insåg detta. Jag trodde att felet låg i vår pipeline. Men tester med flera olika modeller visade samma resultat. Det är en påminnelse om att du inte behöver nå de svåraste delarna av processen för att upptäcka allvarliga brister.

Varför detta är ett stort problem

Företag förlitar sig alltmer på AI för att automatisera administrativa processer. Men om AI inte kan hantera grundläggande uppgifter som att läsa en faktura korrekt, kan det leda till felaktiga beslut, ekonomiska förluster och bristande efterlevnad. Det handlar inte om att AI är dåligt på matematik – det handlar om att den saknar förmågan att hantera verklighetens komplexitet och variation.

Vad är lösningen?

Att förlita sig enbart på större och mer avancerade AI-modeller löser inte problemet. Istället krävs det en kombination av människor och AI, där människor hanterar de fall som AI inte klarar av. Det handlar också om att utveckla system som kan identifiera när AI är osäker och automatiskt vidarebefordra uppgiften till mänsklig granskning.

AI har potential att revolutionera många områden, men dess begränsningar måste erkännas. Att ignorera dem kan få allvarliga konsekvenser för företag som förlitar sig på automatisering.