Нехватка жестких дисков из-за ИИ: почему архивирование интернета становится дороже и сложнее

Резкий рост стоимости жестких дисков и накопителей, вызванный бумом центров обработки данных для искусственного интеллекта, создает серьезные проблемы для цифровых архивариусов, ученых, Википедии и даже простых энтузиастов, занимающихся сохранением данных. Некоторые модели накопителей, ранее доступные и недорогие, теперь либо исчезли с рынка, либо подорожали в несколько раз.

Почему цены на хранилища выросли?

С октября прошлого года средние цены на SSD и HDD начали стремительно расти. Например, внешний накопитель Samsung объемом 2 ТБ, купленный осенью за 159 долларов, теперь стоит 575 долларов. По данным сервиса PC Part Picker, стоимость многих моделей удвоилась или выросла более чем на 150%. В некоторых магазинах накопители вообще отсутствуют в продаже, а на вторичном рынке, включая eBay, развернулась спекуляция.

Как это влияет на архивирование интернета

Брюстер Кейл, основатель Internet Archive и проекта Wayback Machine, одного из крупнейших архивов интернета, заявил изданию 404 Media, что рост цен на хранилища — это «очень серьезная проблема, отнимающая время и деньги».

«Нам нужны накопители объемом 28–30 ТБ, но их либо нет в наличии, либо они стоят непомерно дорого. Мы ежедневно добавляем более 100 терабайт новых данных, а наш общий архив уже превышает 210 петабайт. Нам постоянно требуются новые жесткие диски для обновления и обслуживания оборудования», — сказал Кейл.

«К счастью, у нас есть активное сообщество, которое поддерживает Архив, и мы обращаемся за помощью к производителям накопителей. Пока нам удается находить обходные решения, но это действительно серьезная проблема, требующая времени и ресурсов».

Проблемы Википедии и других некоммерческих проектов

Фонд Wikimedia, управляющий Википедией и другими проектами, также столкнулся с ростом расходов на хранение данных. По словам представителя фонда, с конца 2023 года стоимость накопителей и серверов значительно выросла, что создает угрозу для бесперебойной работы ресурса.

«У нас более 65 миллионов статей на Википедии, и доступ к серверам и хранилищам критически важен. Мы видим рост цен на память и жесткие диски, а также увеличение сроков поставки серверов. Для некоммерческой организации это особенно чувствительно, так как бюджет распределяется крайне бережно», — заявил представитель Wikimedia Foundation.

«Мы оптимизируем инвестиции и ищем способы снизить нагрузку, но ситуация остается сложной».

Что ждет рынок хранилищ в будущем?

Эксперты прогнозируют, что дефицит накопителей сохранится как минимум до конца 2024 года. Производители жестких дисков и SSD не успевают за растущим спросом со стороны ИИ-индустрии, что приводит к дальнейшему удорожанию и дефициту. В этих условиях некоммерческие организации и энтузиасты вынуждены искать альтернативные решения: от покупки подержанных накопителей до использования облачных хранилищ, что также требует дополнительных затрат.

Пока что единственный выход — это оптимизация расходов и поиск новых партнеров среди производителей, готовых поддержать важные архивные проекты.