AI-datacentra veroorzaken schaarste en prijsstijgingen: archiveren van het internet wordt duurder

AI-gedreven vraag drijft schaarste en prijsstijgingen

De ongekende groei van AI-datacentra heeft een onverwachte bijwerking: een acuut tekort aan opslagmedia zoals harde schijven en SSD’s. Dit maakt het voor organisaties die het internet archiveren, zoals het Internet Archive en de Wikimedia Foundation, steeds moeilijker en duurder om data op te slaan.

Prijzen verdubbelen of meer

De kosten voor zowel consumenten- als zakelijke opslagmedia zijn de afgelopen maanden sterk gestegen. Zo kostte een 2TB-externe Samsung SSD vorig najaar nog $159, terwijl dezelfde schijf nu $575 bedraagt. Volgens PC Part Picker, dat de gemiddelde prijzen van opslagmedia bijhoudt, zijn de prijzen sinds oktober vorig jaar universeel gestegen. Veel modellen zijn verdubbeld in prijs of zelfs met meer dan 150% gestegen. In sommige gevallen zijn ze zelfs niet meer verkrijgbaar.

Er is zelfs een secundaire markt ontstaan, waarbij mensen SSD’s en harde schijven doorverkoopten met winst op platforms zoals eBay.

Internet Archive kampt met extreme kostenstijgingen

Brewster Kahle, oprichter van het Internet Archive en de Wayback Machine, noemt de stijgende kosten een ‘zeer reëel probleem’ dat tijd en geld kost. “De door ons geprefereerde 28-30TB-schijven zijn niet meer beschikbaar of extreem duur”, aldus Kahle. “We voegen dagelijks meer dan 100 terabyte nieuwe data toe aan ons archief, dat inmiddels meer dan 210 petabyte beslaat. Onze servers moeten continu worden opgewaardeerd en onderhouden, dus we hebben constant nieuwe harde schijven nodig.”

Kahle benadrukt dat het Internet Archive gelukkig nog steun ontvangt van donateurs, maar ook afhankelijk is van fabrikanten van harde schijven. “We zoeken naar oplossingen, maar het blijft een groot probleem dat ons tijd en geld kost.”

Wikipedia en Wikimedia Commons voelen de impact

Ook de Wikimedia Foundation, die Wikipedia en Wikimedia Commons beheert, merkt de gevolgen van de prijsstijgingen. “Met meer dan 65 miljoen artikelen op Wikipedia alleen is toegang tot server- en opslagcapaciteit essentieel”, aldus een woordvoerder. “Sinds eind 2023 zien we een duidelijke stijging in de kosten, wat ons zorgen baart.”

De stijgende prijzen hebben vooral impact op de aanschaf van geheugen en harde schijven, maar ook op de levertijden van servers en de capaciteit om toekomstige orders te plaatsen. “Als non-profitorganisatie moeten we uiterst zorgvuldig omgaan met onze budgetten. We beheren onze eigen datacentra om gebruikers wereldwijd te bedienen. Waar mogelijk passen we oplossingen toe, zoals slim prioriteren van investeringen.”

Gevolgen voor hobbyisten en kleine archivarissen

Niet alleen grote organisaties hebben last van de schaarste. Ook hobbyisten en kleine archivarissen merken dat ze minder data kunnen opslaan of dat ze moeten betalen voor schaarse, dure schijven. De markt voor opslagmedia is hierdoor onvoorspelbaar geworden, met lange levertijden en hoge prijzen als gevolg.

Oplossingen en toekomstverwachtingen

Experts verwachten dat de situatie de komende tijd niet zal verbeteren, tenzij de vraag naar opslagmedia afneemt of de productie ervan wordt opgeschaald. Tot die tijd moeten organisaties zoals het Internet Archive en Wikipedia blijven zoeken naar creatieve oplossingen om hun archieven te onderhouden en uit te breiden.