AI-drevet lagringsmangel gjør det dyrere å arkivere internett

Lagringskostnader eksploderer på grunn av AI-boom

Den kraftige økningen i prisen på harddisker og lagringsenheter, drevet av den massive utbyggingen av AI-datacentre, skaper store utfordringer for dem som er avhengige av lagring. Digitalarkivister, akademikere, Wikipedia og hobbyarkivister sliter med å opprettholde sine arkiver på grunn av de høye kostnadene og knapphet på utstyr.

Eksempler på prisøkning

Prisene på både forbruker- og bedriftsnivå harddisker og SSD-er har steget dramatisk siden høsten 2023. For eksempel kostet en 2TB ekstern Samsung SSD $159 i fjor høst, mens den nå koster $575. Nettsiden PC Part Picker, som følger gjennomsnittspriser på lagringsenheter, viser at prisene på mange modeller har doblet seg eller økt med over 150 prosent siden oktober i fjor. Noen butikker har dessuten tomme hyller, og det har oppstått et sekundærmarked der folk selger SSD-er til overpris på eBay og andre plattformer.

Internet Archive rammes hardt

Brewster Kahle, grunnlegger av Internet Archive og Wayback Machine – to av historiens viktigste arkivprosjekter – forteller at de sliter med de høye lagringskostnadene. «Dette er et reelt problem som koster oss både tid og penger,» sier Kahle til 404 Media. «Vi foretrekker 28-30TB-modeller, men de er enten ikke tilgjengelige eller svært dyre.»

Internet Archive samler inn over 100 terabyte nye data hver dag og har allerede lagret over 210 petabyte med materiale. Dette krever kontinuerlige oppgraderinger og vedlikehold av maskinvare. «Vi er heldige som har en aktiv donorbase, men vi trenger også hjelp fra harddiskprodusenter i disse vanskelige tidene,» legger Kahle til. «Vi har funnet måter å omgå knapphetene på, men det er fortsatt et stort problem som påvirker både tid og økonomi.»

Wikipedia og Wikimedia rammes også

Wikimedia Foundation, som driver Wikipedia og andre prosjekter som Wikimedia Commons, melder om lignende utfordringer. Med over 65 millioner artikler på Wikipedia alene er tilgang til lagringskapasitet avgjørende for drift.

«Vi har sett betydelige prisøkninger siden slutten av 2023. Dette påvirker oss på flere måter, blant annet ved kjøp av minne og harddisker, samt lengre leveringstider for servere og redusert kapasitet til å legge inn nye ordre,» sier en talskvinne for Wikimedia Foundation. «Siden vi er en ideell organisasjon, må vi prioritere budsjettet svært nøye. Vi driver egne datasentre for å betjene brukere over hele verden, og vi jobber med alternative løsninger der vi kan, hovedsakelig ved å optimalisere hvordan vi investerer.»

Hva betyr dette for fremtidens arkivering?

Eksperter frykter at de høye lagringskostnadene kan føre til at mindre organisasjoner og enkeltpersoner mister muligheten til å arkivere digitalt innhold. Dette kan true langsiktig bevaring av historisk og kulturell informasjon på nettet.

«Dette er en utvikling vi følger nøye,» sier en representant fra en norsk digitalarkivorganisasjon. «Hvis prisene fortsetter å stige, kan det bli umulig for mange å opprettholde sine arkiver. Vi oppfordrer både myndigheter og industrien til å se på løsninger som kan sikre rimelig og tilgjengelig lagring for alle.»