AI 시대 역사 인터넷 아카이브 웨이백 머신 디지털 보존 브루스터 칼레 웹 아카이브 디지털 도서관 AI 데이터 스크래핑 웹 퍼블리셔

1996년으로 돌아가 2TB USB 드라이브를 들고 있다면 당시의 전체 웹을 담을 수 있었을 것이다. 하지만 당시에는 그 정도의 저장 기술이 없었기에 불가능한 일이었다. 비영리 단체 인터넷 아카이브는 30년 전 창립 이후 테이프 드라이브에서부터 전 세계 데이터센터에 걸친 1조 페이지 이상의 웹 기록 보관으로 성장했다.

웨이백 머신을 통해 과거 웹 페이지의 모습을 되돌아볼 수 있으며, 이는 구시대의 웹사이트부터 AI 시대에 논란이 된 구글의 ‘악하지 말라’는 모토, 트럼프 행정부가 삭제한 기후 변화 자료까지 보존하고 있다. 또한 실황 콘서트 녹음, 퍼블릭 도메인 전자책, 잊힌 DOS 게임 컬렉션 등 디지털 자원의 보고(寶庫)이기도 하다. 현재 약 200만 명이 매일 이곳의 자료에 접근하고 있다.

인터넷 아카이브의 도전과 변화

인터넷 아카이브의 설립자이자 의장인 브루스터 칼레(Brewster Kahle)는 “우리는 모든 인류의 공공 작품을 보존하고자 한다. 없으면 그것을 원한다”고 밝혔다. 그러나 인터넷 아카이브는 창립 이후 변하지 않았지만, 웹 자체는 비영리 미션을 위협하는 방향으로 급변하고 있다.

웹 퍼블리셔들은 AI 기업들이 자료를 무단으로 수집하는 것을 우려해 웨이백 머신 접근을 차단하기 시작했다. 또한 출판사들과의 법정 공방에서 패소한 인터넷 아카이브는 50만 권 이상의 전자책을 삭제하고 합의금을 지불해야 했다.不仅如此, AI 데이터센터의 수요 증가로 저장장치와 메모리 가격이 치솟으면서 디지털 발자국의 보관 비용도 계속 오르고 있다. 칼레는 “도서관이 어려운 시기를 겪고 있지만, 우리는 여전히 도서관이 제 기능을 하도록 노력해야 한다”고 안타까움을 표했다.

디지털 시대의 지식 보존 가치

인터넷 아카이브는 단순히 과거 웹 페이지를 복원하는 도구가 아니다. 누구나 접근하고 다운로드해 자유롭게 사용할 수 있는 정보와 문화의 보고다. 디지털 콘텐츠가 소유권보다 라이선스로 관리되는 세상에서, 이는 보존할 가치가 있는 가치를 지닌다.

어떻게 시작되었나

브루스터 칼레와 그의 팀은 1996년 인터넷 아카이브를 설립하기 전부터 подоб한 구상을 해왔다. 그는 1980년대 초 MIT에서 AI를 공부하며 슈퍼컴퓨터 엔지니어로 활동했다. 당시만 해도 현대 인터넷은 존재하지 않았지만, 그는 “1980년 당시 제 꿈은 책상 위의 도서관이 되는 것이었다”고 회상했다. “우리는 오랫동안 약속해왔던 ‘당신의 책상 위의 국회도서관’을 만들기 위해 노력했다.”

“우리는 모든 인류의 공공 작품을 보존하고자 한다. 없으면 그것을 원한다.” — 브루스터 칼레, 인터넷 아카이브 설립자
출처: Fast Company
S&P 500 신기록 경신, 비트코인의 진정한 약점 드러내
← 이전

S&P 500 신기록 경신, 비트코인의 진정한 약점 드러내

 1973년 5월 14일 미국 연방대법원 역사: Frontiero v. Richardson 판결
다음 →

1973년 5월 14일 미국 연방대법원 역사: Frontiero v. Richardson 판결