GPU-leie er som å spille på silisiumlotteri – ytelsen varierer kraftig

En GPU er ikke bare en GPU – i hvert fall ikke når du leier den i skyen. Ny forskning avdekker betydelige variasjoner i ytelsen til identiske grafikkprosessorer, noe som gjør det vanskelig å vite om du får valuta for pengene.

Silisisumlotteriet: Hvorfor identiske GPU-er ikke er like

Fenomenet kalles «silisisumlotteriet», og det har vært kjent siden 2022 da forskere ved University of Wisconsin knyttet det til variasjoner i ytelsen til superdatamaskiner som er avhengige av GPU-er. Nå viser en ny studie at effekten er enda tydeligere for AI-skykunder.

Carmen Li, grunnlegger og CEO i Silicon Data – som analyserer GPU-leiepriser og skyytelse – forklarer:

«Det er som å spille på et lotteri. Du kan ende opp med en chip som leverer betydelig dårligere ytelse enn forventet, selv om du har valgt en toppmodell.»

Forskerne gjennomførte 6 800 benchmarktester på 3 500 tilfeldig utvalgte GPU-er fra 11 ulike skyleverandører. Testene omfattet 11 ulike Nvidia-modeller, deriblant den avanserte H200 SXM. Benchmarken, kalt SiliconMark, måler en GPU sin evne til å kjøre store språkmodeller (LLM) ved å teste 16-bits flytende komma-ytelse og minnebåndbredde.

Store variasjoner i ytelse – også på toppmodeller

Resultatene viste betydelige variasjoner i ytelsen, selv innenfor samme modell:

• Nvidia H100 PCIe: Ytelsesforskjell på opptil 34,5 prosent mellom de dårligste og beste chipene.
• Nvidia H200 SXM: Minnebåndbredde varierte med opptil 38 prosent.

Forskjellene skyldes ikke bare kjøling, konfigurasjon eller slitasje, men i stor grad variasjoner i selve chipene – trolig på grunn av produksjonsfeil.

Hva betyr dette for deg som leier GPU-er?

Problemet er at du kan ende opp med å betale mer for en toppmodell uten å få tilsvarende ytelse. Jason Cornick, infrastrukturleder i Silicon Data, anbefaler derfor:

«Den mest praktiske løsningen er å kjøre en benchmark på den aktuelle GPU-en du leier. Verktøy som SiliconMark lar deg sammenligne ytelsen med et bredt datasett og sikre at du får det du betaler for.»

Forskerne understreker at dette ikke bare gjelder Nvidia – men at selskapet dominerer markedet for GPU-leie i skyen. Variasjonene gjør det vanskeligere å planlegge kostnader og ytelse for AI-prosjekter, noe som kan få store økonomiske konsekvenser.