Arquivo da Internet completa 30 anos: como a 'biblioteca digital' enfrenta os desafios da era da IA

Em 1996, seria necessário um pen drive de 2TB para armazenar toda a World Wide Web. Naquela época, entretanto, essa capacidade de armazenamento não existia, e o desafio de preservar a internet sempre foi complexo para o Internet Archive.

Fundada há 30 anos, a organização sem fins lucrativos evoluiu de cópias em fitas magnéticas para um acervo com mais de 1 trilhão de páginas espalhadas em data centers ao redor do mundo. Com a Wayback Machine, qualquer pessoa pode acessar versões antigas de sites, desde páginas do GeoCities até o antigo código de conduta do Google — quando ainda dizia "Não Seja Malvado" — ou documentos da EPA sobre mudanças climáticas antes de serem removidos durante o governo Trump. Além disso, o arquivo abriga gravações de concertos, livros de domínio público e até jogos esquecidos do sistema DOS.

Diariamente, cerca de 2 milhões de pessoas utilizam os recursos da plataforma. "Queremos tudo", declarou Brewster Kahle, fundador e presidente do Internet Archive. "Queremos todas as obras públicas da humanidade. Se não temos, vamos atrás."

Os novos desafios da preservação digital

Embora a missão do Internet Archive permaneça inalterada, a internet e o cenário digital mudaram drasticamente, colocando em risco sua operação. Editoras e plataformas passaram a bloquear o acesso à Wayback Machine com medo de que empresas de IA estejam extraindo conteúdo sem permissão. Uma batalha judicial contra editoras de livros resultou em um acordo milionário e na remoção de mais de 500 mil títulos do acervo.

Para piorar, os custos de armazenamento continuam subindo, impulsionados pela alta demanda dos data centers de IA por memória e espaço. Kahle reflete sobre a dificuldade de manter uma biblioteca digital em tempos tão desafiadores: "Temos que continuar tentando fazer uma biblioteca funcionar, mesmo em um momento tão difícil para elas".

Um legado além de páginas antigas

O Internet Archive não é apenas um repositório de páginas web antigas — é um guardião da cultura e do conhecimento acessível. Em uma era onde o conteúdo digital é cada vez mais licenciado do que possuído, a plataforma oferece uma alternativa crucial: a possibilidade de acessar, baixar e reutilizar informações livremente.

Como tudo começou

Brewster Kahle, fundador do Internet Archive, já sonhava com um projeto como esse décadas antes de se tornar viável. Nos anos 1980, enquanto estudava Inteligência Artificial no MIT e atuava como engenheiro-chefe em supercomputadores na Thinking Machines, ele imaginava um futuro onde essas máquinas tornariam materiais de referência acessíveis a todos. "Para mim, em 1980, a ideia era construir algo que já prometíamos há tempos: uma Biblioteca do Congresso na sua mesa", contou Kahle.