Nye hardwareløsninger kan gjøre AI-modeller mer effektive og miljøvennlige

AI-modeller vokser – men effektiviteten må følge med

Størrelse betyr fortsatt mye når det gjelder AI-modeller. Selv om eksperter advarer om at stadig større språkmodeller (LLM) gir mindre ytelsesgevinst per ekstra parameter, lanserer selskaper likevel stadig større AI-verktøy. Meta nylig sluppet sin Llama-modell med hele 2 billioner parametere.

Ettersom modellene blir større, øker både kapasiteten og energibehovet. Lange beregningstider og høyt strømforbruk gir større klimafotavtrykk. For å motvirke dette har utviklere i stedet begynt å bruke mindre og mindre presise modeller, samt redusere nøyaktigheten på parameterne.

Sparsomhet i AI-modeller kan revolusjonere effektiviteten

En mer lovende tilnærming er å utnytte at de fleste parameterne i store AI-modeller egentlig er null – eller så nær null at de kan behandles som det uten tap av nøyaktighet. Dette kalles sparsomhet.

Ved å ignorere nuller i beregninger og lagring kan man spare betydelig tid og energi. I stedet for å utføre unødvendige operasjoner med nuller, kan man hoppe over dem. I stedet for å lagre tusenvis av nuller, holder man bare på de ikke-null parameterne.

Problemet er at dagens standardhardware, som flerkjernede CPUer og GPUer, ikke er designet for å utnytte sparsomhet effektivt. For å få full gevinst av sparsomhet må hele designkjeden omtenkes – fra hardware og firmware til programvare.

Stanford-forskere utvikler ny hardware for sparsomme AI-modeller

Forskere ved Stanford University har nå laget det de mener er den første hardwareløsningen som effektivt kan håndtere både tradisjonelle og sparsomme beregninger. Resultatene var slående: På gjennomsnittlig basis brukte brikken bare 1/70 av energien til en CPU, samtidig som den utførte beregningene åtte ganger raskere.

For å oppnå dette måtte forskerne bygge hardware, firmware og programvare fra grunnen av med sparsomhet i fokus. De håper dette er starten på en ny æra med energieffektiv AI-utvikling.

Hva er sparsomhet?

AI-modeller og dataene de trenes på representeres som tallmatriser – enten som vektorer, matriser eller høyere-dimensjonale strukturer kalt tensorer. En sparsom struktur inneholder hovedsakelig nuller, mens en tett struktur har få nuller.

Sparsomhet kan enten være naturlig til stede eller kunstig fremkalt. Et eksempel på naturlig sparsomhet er sosiale medier-grafer, der de fleste brukerne ikke er venner med hverandre. En matrise som representerer alle mulige vennskap vil derfor bestå av nesten bare nuller.

Andre AI-applikasjoner, som bildegjenkjenning eller anbefalingssystemer, kan også dra nytte av sparsomhet for å effektivisere beregningene.

Fremtidens AI krever nytenkning

Selv om sparsomhet ikke er en ny idé, har mangelen på riktig hardware hindret utnyttelsen av potensialet. Med nye brikker som den fra Stanford kan AI-modeller bli både raskere og mer energieffektive – uten å gå på bekostning av ytelse.

Forskerne understreker at dette bare er begynnelsen. Med videreutvikling av hardware og modeller kan vi se en ny generasjon AI-systemer som er både kraftfulle og miljøvennlige.