[Analysis]디스크 기반 DB 시장 `잠식`???대용량 데이터 실시간 처리

관련 통계자료 다운로드 인메모리 기술 활용 기업 예

　가트너는 최근 발표에서 2014년까지 분석 애플리케이션의 30%가 확장성과 빠른 속도 구현을 위해 인메모리(In-memory) 기술을 사용할 것으로 전망했다. 또 향후 5년간 기업의 30%가 애플리케이션을 인메모리·엘라스틱 캐시 데이터베이스(DB)에서 운영할 것으로도 내다봤다.

　특히 가트너는 인메모리 DB를 올해 정보 인프라에 영향을 미칠 10대 핵심 기술 트렌드 중 하나로 선정하기도 했다. 더욱이 실시간 의사결정 기반으로 각광 받을 분석기술로 △칼럼 지향 데이터베이스 △인데이터베이스 분석 △하드웨어·소프트웨어 최적화시스템(어플라이언스) 등과 함께 △인메모리 분석을 선정하기도 했다.

　이는 탁월한 성능과 비용 절감 효과가 인메모리 컴퓨팅 기술의 성장요인으로 분석됐기 때문이다. 인메모리 DB는 디스크가 아닌 메인 메모리에 모든 데이터를 저장해 자료 검색과 접근이 일반 DB방식보다 10~20배 빠르다. 방대한 양의 데이터를 실시간으로 검색할 수 있는 속도를 제공하고 전통적인 관계형 DB보다 훨씬 복잡한 데이터도 처리할 수 있게 설계됐다. 부즈앤컴퍼니 분석자료에서도 인메모리 DB가 디스크 기반 DB보다 속도는 19배, 처리능력(Throughput)은 7배 높은 것으로 조사됐다.

　DB 관리는 현재 기업의 IT 예산 가운데 25%를 차지한다. 인메모리 기술을 활용하면 전통적인 DB 관리 시스템보다 적은 하드웨어 시스템을 활용하기 때문에 비용을 절감할 수 있다.

　◇BI애플리케이션, 인메모리 기술 혜택 누려=인메모리 기술은 오랫동안 비즈니스 인텔리전스(BI) 업체들이 관심을 보여온 기술이다. 더 빠른 검색 속도에 대한 고객 요구에 부응하기 위해 BI 업체들은 자연스럽게 전통적인 디스크 기반의 스토리지 대신 인메모리 기술에 관심을 가졌다.

　전형적인 BI 기술은 테이블과 다차원 큐브 형태로 돼 있는 데이터를 디스크에 로드하고 그 테이블이나 큐브의 데이터 대상으로 쿼리를 수행한다. 하지만 인메모리 기술은 필요한 모든 정보를 메모리상의 색인(Index)을 통해 빠르게 검색하도록 하기 때문에 데이터 검색 시간을 줄여준다.

　대용량 DB에 대한 고속 쿼리 수요는 보다 저렴해진 64비트 컴퓨팅 가격과 더불어 인메모리 사용을 증대시킨다. 보고〃분석을 위해 상세 데이터를 메모리에 적재하는 것은 대부분의 BI 도입의 핵심요소인 통합 데이터(Aggregate Data)의 필요성을 낮춰준다. 기업들은 성능과 유연성을 높이기 위해 BI 애플리케이션에 인메모리 기술을 통합하고 있다. 특히 인메모리 기술은 웹 분석, 판매시점관리(POS), RFID와 같은 대용량 상세 데이터 분석을 필요로 하는 BI 애플리케이션에 주로 적용된다.

　데이터웨어하우스의 상세 단계(또는 운영 DB의 미러링 된 사본)를 쿼리하는 즉석보고서 작성이 가능하더라도 이 같은 방식은 쿼리 성능을 저해한다. 이를 개선하기 위해 IT 조직들은 쿼리 성능에 최적화된 데이터 계층을 구축한다. 이는 비정규화된 스타 스키마나 다차원 온라인 분석처리(OLAP) 큐브 등 1~2개 형태를 뛴다.

　이 접근방법의 핵심은 성능 향상을 위해 사전에 정보를 통합하고 연산을 수행하는 특화된 데이터 구조를 구축하는 것이다. IT 조직들은 이 같은 성능 계층 구축을 위해 엄청난 시간을 투자하지만 다음과 같은 문제점을 지닌다.

　첫째는 사전 통합 계층 구축 요건은 셀프서비스 BI의 성공 가능성을 저해한다. 사용자들은 데이터 분석에 앞서 IT 조직들이 성능 계층을 구축하는 것을 기다려야 한다. 양호한 쿼리 성능 유지를 위해 사용자들은 특화된 데이터 구조만을 탐색하는 것으로 업무 제한을 받는다.

　둘째는 통합 계층은 업데이트된 데이터로 재연산된다. 이 프로세스는 상당한 시간을 소요하며 정보의 신선함을 떨어뜨린다. 셋째는 통합 계층의 구축 및 유지보수에는 상당량의 IT 자원이 필요해 전체적인 생산성 낭비를 초래한다.

　◇산업 전반에 걸쳐 도입 확산=앞서 언급된 문제점을 해결하기 위해 통합 계층을 구축하는 대신 상세 데이터를 메모리에 적재한다. 가트너 조사에 따르면 인메모리 방법을 사용하는 쿼리 성능은 기존의 통합 기반 아키텍처의 속도와 동일하거나 빠른 것으로 나타났다.

　인메모리 기술은 정보를 보다 신속히 검색할뿐 아니라 디스크 기반 접근방식에 비해 쿼리 결과에 대한 연산도 빠르게 수행한다. 따라서 인메모리 기술을 통해 사용자들은 큐브나 통합 테이블에 한정되는 제약을 받지 않고 상세 데이터를 자유롭게 탐색할 수 있다.

　최근까지 인메모리 기술은 많은 제약사항으로 인해 사용도가 매우 낮은 전략적 접근 방식에 한해 사용돼 왔다. 이 같은 제약사항이 없어짐에 인메모리 기술은 제조, 유통, 소비재, 금융, 통신, 연구소 등 산업 전반에 걸쳐 대용량 데이터를 빠른 시간 안에 분석해야 하는 모든 곳에서 활용될 수 있다.

　인메모리 컴퓨팅을 활용하면 실시간으로 원하는 질문에 대한 답변을 얻고 빠른 상황판단으로 중요한 의사결정을 즉시 할 수 있다. 영업사원은 고객의 과거 이력과 현재 상황에 맞는 실시간 분석으로 가격과 제품 납기약속을 모바일 기기로 바로 처리할 수 있다. 매장 물품 관리자는 실시간으로 고객의 소비 행태를 분석해 적시에 필요한 물량을 매장 판매대에 배치할 수 있다.

　인메모리 기술은 이미 세계 여러 기업에 도입돼 혁신적인 성과를 거두고 있다. 일본의 노무라 연구소는 도쿄에서 운행 중인 1만2000대 택시 교통 운행정보 데이터를 인메모리 기술로 실시간 분석해 최단 이동경로를 운전자들에게 제공한다. 콜게이트 팜올리브는 인메모리 기술을 도입해 77분 걸리던 대용량 데이터 분석을 33초 만에 처리하고 있다.

　형원준 SAP코리아 대표 won.joon.hyoung@sap.com

<그림>인메모리와 디스크 기반 DB 응답시간 및 처리능력 비교 <출처 : 부즈앤컴퍼니>