인터넷은 모든 것을 바꿔놓고 있다. 일상 생활습관은 물론이고 기술 흐름까지 예외가 없다. 특히 인터넷은 여느 때보다 신기술 등장 속도를 단축시켰다. 스크린 스크래핑 기술 역시 인터넷이 낳은 하나의 산물로 등장, 곳곳에 적용되고 있다.
스크린 스크래핑이란 말 그대로 스크린에 보여지는 데이터 가운데 필요한 데이터만을 추출하도록 프로그래밍한 소프트웨어를 말한다. 스크린 스크래핑 엔진이 자동으로 시스템에 로그인해 데이터를 화면에 나타나게 한 후 필요한 자료만을 추출해 가져오는 것이다. 특히 웹이 등장하면서는 HTML을 사용해서 웹사이트에 있는 정보를 끄집어내어 다른 사이트나 데이터베이스에 저장하는 ‘웹 스크래핑’으로 불리기도 한다.
스크린 스크래핑은 지난해 5월 MSDN에서 공식 발표하면서 대중화되기 시작했지만 기본 개념이 등장한 것은 IBM 메인프레임에서다. 데이터가 화면 단위로 뿌려지는 IBM 메인프레임의 특성상, 필요한 데이터를 디스플레이 화면에 입출력하는 데 사용한 것이 스크린 스크래핑 기술이다. 현재 통용되는 스크린 스크래핑의 경우 사용자에게 보여지는 화면을 기반으로 필요한 데이터를 입출력한다는 점에서는 IBM 메인프레임의 스크린 스크래핑과 유사하나 웹 브라우저내 HTML 소스를 분석(파싱)해 데이터를 입출력한다는 점에서 차이가 있다.
스크린 스크래핑은 △각 사이트로부터 데이터를 긁어오는 스크래핑 기술과 △사이트에서 가져온 데이터를 일정 표준포맷에 맞게 변환하는 기술 △스크래핑 서비스 구동기술이 핵심이다. 스크래핑 주체에 따라 △서버 의존형 △클라이언트 의존형 △혼합형으로 구분된다. 서버 의존형은 추출된 데이터가 서버에 존재하는 것으로 속도가 빠른 것이 특징. 이에 비해 클라이언트 의존형 속도가 늦지만 정보침해에 대한 우려가 없다. 혼합형은 클라이언트에서 스크래핑을 수행하되 결과치는 서버에 저장하는 형태다.
이 스크린 스크래핑 기술은 시스템에서 해당 사이트에 자동 접속, 필요한 데이터를 통합적으로 제공하기 때문에 해당 인터넷 사이트에 매번 접속해야 하는 번거로움을 없앨 수 있다. 웹사이트를 운영중인 회사에서도 스크린 스크래핑 이용자에게 원투원 마케팅을 전개함으로써 타 기관과의 서비스 차별화를 시도할 수 있다.
이같은 장점 때문에 스크린 스크래핑 기술은 다양한 분야에 활용될 전망이다.
첫째가 계좌통합관리 부문이다. 계좌통합관리란 사용자가 각 금융기관에 흩어져 있는 금융자산들을 통합해 한번에 조회·이체 등 거래를 하고 관리할 수 있는 것을 말한다. 스크린 스크래핑 기술을 통해서 여러 금융기관에 분산돼 있는 예금·적금·신탁·주식·대출금 내역·신용카드 사용내역·보험금 및 연금 등 개인의 모든 금융정보를 보여주게 된다.
스크린 스크래핑 기술이 가장 널리 사용되는 분야가 바로 이 계좌통합관리 부문이다.
e메일 통합조회에도 사용될 수 있다. 코리아닷컴, 다음, 네띠앙 등 여러 웹메일을 사용하는 경우 스크린 스크래핑 엔진을 탑재해 놓으면 매번 접속하지 않고도 메일을 한 번에 확인할 수 있다.
호텔, 항공사, 렌터카, 주유소 마일리지 등 각종 보상 프로그램에도 활용 가능하다. 대한항공, 아시아나, S오일 이용자라면 각 사이트마다 접속해서 마일리지를 확인할 필요가 없다. 개인 ID와 패스워드만 입력해 놓으면 시스템이 자동으로 마일리지를 합산해서 알려주기 때문이다.
전자상거래에서 경매 진행상황을 추적할 때에도 스크린 스크래핑이 사용될 수 있다. 일일이 웹사이트에 접속하지 않더라도 세팅된 시간주기에 따라 자동으로 경매 진척사항을 뿌려준다. 물류 서비스의 배송정보 추적도 유사하다.
이밖에 뉴스, 채팅, 날씨 등 사용자가 클릭함으로써 액션이 발생하는 곳이라면 어디든 스크린 스크래핑 기술을 접목시킬 수 있다는 것이 관계자들의 공통된 설명이다.
이에 따라 업계에서도 스크린 스크래핑을 이용할 수 있는 분야찾기에 골몰하고 있다. 투비소프트는 계좌통합관리솔루션 외에 스크린 스크래핑 엔진을 인터넷 서비스 회사에 판매하는 방안을 검토중이다. 오픈테크 역시 스크린 스크래핑을 활용한 새로운 비즈니스 모델을 찾고 있다.
그러나 아직은 스크린 스크래핑이 해결해야 할 부분이 많다. 스크린 스크래핑은 웹 사이트에서 정보를 가져오기 때문에 해당 사이트가 갱신될 때마다 프로그래밍을 수정해야 한다. 따라서 사이트 변경시 얼마나 빠르고 유연하게 대처할 수 있는지가 스크린 스크래핑 업계의 당면과제가 되고 있다.
이와 함께 얼마나 빠르고 정확하게 스크래핑할 수 있는지는 스크린 스크래핑 업계의 시장판도를 좌우하는 중요한 바로미터가 될 전망이다.
<정은아기자 eajung@etnews.co.kr>