인터넷 공간이 상상을 초월할 정도로 커 고성능 검색엔진도 웹의 방대한 정보 창고 표면밖에는 검색하지 못한다는 연구결과가 나와 주목을 끌고 있다.
「C넷」 등 주요 외신들은 미국 벤처기업 브라이트 플래니트가 인터넷 크기 측정을 위해 새로 개발한 소프트웨어를 사용해 조사한 결과, 웹이 야후나 알타비스타 등 인기 검색엔진이 검색할 수 있는 것보다 500배 이상 더 큰 것으로 나타났다고 전했다.
브라이트 플래니트가 새 소프트웨어를 이용해 6개월간 실시한 조사에서는 인터넷에 저장돼 있는 정보는 5500억 페이지로 주요 검색엔진이 제공하는 정보(합계) 10억 페이지의 550배나 되는 것으로 집계됐다.
이는 검색엔진의 발전속도보다 인터넷이 훨씬 더 빠르게 발전하기 때문이다.
이 회사는 또 검색엔진이 접근할 수 없어 일반적으로 전문가들이 「보이지 않는 웹(invisible)」이라고 칭하고 있는 영역에 대해 『이 영역은 더 이상 「보이지 않는 웹」이 아니다』며 이 영역을 검색엔진이 표면적 정보만 검색해 내는 영역과 구분해 「깊은 웹(deep web)」이라고 명명했다.
<신기성기자 ksshin@etnews.co.kr>