Nye hardwareløsninger kan gøre sparsomme AI-modeller til superkræfter

AI’s energikrise: Størrelse betyder ikke alt

AI-modeller vokser eksplosivt i størrelse. Meta’s seneste Llama-model indeholder eksempelvis 2 billioner parametre, hvilket gør den ekstremt kraftfuld. Men med størrelsen følger også enorme energikrav og langsommere beregninger – en udfordring for både økonomien og miljøet.

Eksperter advarer om, at skaleringsmetoden rammer et loft, hvor yderligere vækst ikke længere giver bedre resultater. Alligevel fortsætter udviklingen med endnu større modeller. En alternativ løsning er at bruge mindre og mindre præcise modeller, men dette går ud over ydeevnen.

Sparsitet: Hemmeligheden bag effektiv AI

En afgørende egenskab ved mange AI-modeller er sparsitet. Det betyder, at størstedelen af modellens parametre – vægte og aktiveringer – er tæt på nul. Disse tal kan behandles som nul uden at gå på kompromis med nøjagtigheden. I stedet for at bruge tid og energi på at beregne med nuller, kan man springe dem over og dermed spare betydelige ressourcer.

Sparsitet opstår naturligt i mange AI-applikationer. For eksempel repræsenteres sociale netværk ofte som grafer, hvor de fleste personer ikke er forbundet med hinanden. I en sådan struktur er størstedelen af dataene nul, hvilket gør den ideel til sparsomme beregninger.

Hvorfor udnytter nutidens hardware ikke sparsitet?

Moderne hardware som CPU’er og GPU’er er designet til traditionelle, tætte beregninger. De mangler den nødvendige arkitektur til at udnytte sparsitet effektivt. For at realisere potentialet skal hele designstakken – fra hardware til software – genovervejes.

Stanfords gennembrud: En chip til sparsomme AI-modeller

Forskere fra Stanford University har udviklet den første hardware, der effektivt kan håndtere både sparsomme og traditionelle beregninger. Deres chip reducerede energiforbruget til blot 1/70 af en standard CPU’s forbrug og øgede beregningshastigheden med otte gange.

For at opnå dette måtte forskerne bygge hardware, firmware og software fra bunden med fokus på sparsitet. Resultatet er en prototype, der demonstrerer, hvordan fremtidens AI-hardware kan blive både hurtigere og langt mere energieffektiv.

Potentialet for fremtidens AI

Dette gennembrud åbner døren for udvikling af AI-modeller, der kan køre på langt mindre energi uden at gå på kompromis med ydeevnen. Det kan føre til:

• Mindre energiforbrug og lavere omkostninger
• Hurtigere træning og implementering af AI-modeller
• Mulighed for at køre avanceret AI på mobile enheder og edge-enheder

Hvad er sparsitet i praksis?

Sparsitet refererer til datastrukturer, hvor størstedelen af elementerne er nul. Dette kan forekomme i:

• Vektorer: Én-dimensionelle lister med mange nuller
• Matricer: To-dimensionelle arrays med over 50% nuller
• Tensorer: Flere-dimensionelle strukturer med sparsomme data

Sparsitet kan være naturligt forekommende eller kunstigt induceret. For eksempel kan man ved at fjerne ubetydelige forbindelser i et neuralt netværk skabe en mere sparsom struktur.

"Vi har bevist, at det er muligt at bygge hardware, der udnytter sparsitet effektivt. Dette er blot begyndelsen på en ny æra inden for energieffektiv AI."

Vejen frem: Sammenhæng mellem hardware og AI-modeller

For at realisere det fulde potentiale af sparsitet kræves et tæt samarbejde mellem hardwareudviklere og AI-forskere. Fremtidens AI-systemer skal designes med sparsitet i tankerne fra starten – både i modelarkitekturen og i den underliggende hardware.

Med løsninger som Stanfords nye chip kan AI blive både mere tilgængelig og bæredygtig. Det er et skridt mod at gøre avanceret kunstig intelligens tilgængelig for flere – uden at belaste miljøet unødigt.