Tradisjonelle værvarslingsmodeller slår fortsatt AI på ekstremvær

AI sliter med å forutsi de verste værhendelsene

AI har lenge blitt fremstilt som fremtiden innen værvarsling – raskere og mer presis enn tradisjonelle metoder. Men ny forskning avdekker en betydelig svakhet: AI-modeller klarer ofte ikke å forutsi ekstremvær pålitelig. Tradisjonelle fysikkbaserte modeller gjør det fortsatt bedre på slike tilfeller.

«De presterer godt på mange oppgaver, men når det gjelder de aller mest ekstreme hendelsene – som er de viktigste for samfunnet – sliter de fortsatt,» sier Sebastian Engelke, statistikkprofessor ved Universitetet i Genève og medforfatter av en ny studie i Science.

Forskerne testet noen av de ledende AI-værvarslingsmodellene, inkludert GraphCast og Pangu-Weather, mot en database med nylige ekstreme værhendelser. Resultatene var klare: AI-modellene undervurderte ofte høye temperaturer under hetebølger, som for eksempel hetebølgen i Sibir tidlig i 2020 som førte til voldsomme skogbranner og smelting av permafrost. (Denne hetebølgen ville vært nesten umulig uten klimaendringer; en annen studie viste at global oppvarming gjorde den 600 ganger mer sannsynlig.)

AI-modellene var også mindre nøyaktige enn eldre modeller når det gjaldt å varsle ekstrem vind eller rekordlave temperaturer. Forklaringen ligger i hvordan de trenes: på tiår med historiske data.

«De prøver empirisk å forstå: Hvis jeg ser en viss type vær i dag, hvordan blir været i morgen?» forklarer Engelke. «I praksis reproduserer de det som har skjedd før. Når vi snakker om ekstremvær – spesielt rekordstore hendelser – har dette ikke skjedd tidligere. Det er mangel på informasjon i treningsdataene som gjør det nesten umulig for dem å varsle slike hendelser.»

Modellene har blitt bedre – men problemet består

Studien undersøkte modeller fra for ett år siden, og siden den gang har noen av dem blitt forbedret. Noen har for eksempel lagt til sannsynlighetsmodeller som varsler flere mulige utfall for å øke nøyaktigheten. Likevel gjenstår det grunnleggende problemet: De er fortsatt basert på historiske data.

Tradisjonelle fysikkbaserte værvarslingsmodeller bruker derimot komplekse matematiske modeller for å representere den fysiske verden. Disse kan lettere tilpasse seg nye forhold. (Selv om heller ikke disse modellene er perfekte på ekstremvær, presterer de fortsatt bedre enn AI-modellene.)

AI er bedre på «vanlig» værvarsling

Når det gjelder mer typiske værvarsler eller ekstremvær som ikke ligger langt utenfor det historiske spekteret, kan AI-modeller faktisk overgå tradisjonelle metoder. Da Nvidia nylig lanserte sin AI-værvarslingsmodell Atlas, gjennomførte de en studie for å teste ytelsen på en ekstremhendelse modellen ikke var trent på: Storm Dennis, en raskt forsterkende syklon som rammet Storbritannia.

«Man kan tydelig se ved å visualisere vindstyrke og trykkgradienten at modellen klarte å fange opp realistisk intense vindhendelser og kraftige sykloner som forårsaker skader,» sier Mike Pritchard, direktør for klimasimuleringsforskning hos Nvidia.

AI-modellene er også gode til å varsle banen til tropiske orkaner. De brukes allerede sammen med tradisjonelle modeller av værvarslingsbyråer, værdata-selskaper som The Weather Company og forsikringsselskaper.

Fremtidige løsninger på vei

Forskere jobber med å forbedre varslingen av de aller mest ekstreme værhendelsene. En mulig løsning er å legge til data i treningsdatasettene som viser hvordan slike rekordstore hendelser kan arte seg. «Det finnes måter å «presse» modellen på for å håndtere slike scenarier,» sier Engelke.

Inntil videre ser det imidlertid ut til at tradisjonelle fysikkbaserte modeller fortsatt er de mest pålitelige når det gjelder å varsle de mest ødeleggende værfenomenene.

«AI-modellene reproduserer det som har skjedd før. Når vi snakker om ekstremvær, har dette ikke skjedd tidligere. Det er mangel på informasjon i treningsdataene som gjør det nesten umulig for dem å varsle slike hendelser.»