장동인
◇1982년 서울대 공대 원자핵공학과 졸업
◇1982∼84년 비자인터내셔널 프로그래머
◇1984∼86년 EDS시스템 엔지니어
◇1986∼91년 아메리카에어라인정보서비스 컨설턴트
◇1991∼92년 독일 아메데우스 시스템 엔지니어
◇1992∼95년 오라클 수석 컨설턴트
◇1995년 캘리포니아대학 컴퓨터공학 석사
◇1996년∼현재 한국오라클 기술본부 이사
최근들어 많은 업체가 「데이터웨어하우스(DW)」 도입을 검토하고 있다. 그러나 DW를 도입하는 일은 쉽지 않다. 실무자들이 DW에 대한 개념을 올바르게 정립하지 못했을 경우 전체 구축방향을 제대로 잡을 수 없다. 또 기업 경영진에 구축효과를 제대로 설명할 수 없어 그 도입이 매우 늦어지는 경우도 있다.
DW에 대한 가장 초보적인 접근은 온라인분석도구(OLAP)방식 접근이다. 원래 OLAP는 데이터를 쉽게 다차원적으로 분석하도록 만들어진 도구다. 이것은 기가바이트(GB) 이하의 소규모 데이터를 운영계 시스템에서 받아 다차원적으로 분석하도록 설계되어 있다. 쉽게 구축할 수 있고 가격도 저렴하기 때문에 한번 OLAP 데모를 본 실무자들은 매력을 느낀다. 그러나 이 방식은 주로 소수의 현업 분석가들이 자신의 PC에 데이터를 다운로드해 분석하므로 운영계 시스템에서 데이터를 로드하는 시기와 방법에 따라 다른 사람이 분석한 자료와 다른 경우가 많고 데이터를 회사내 많은 부서와 공유할 수 없다. DW가 없는 OLAP는 결국 개인용으로 사용할 수밖에 없어 큰 효과를 보지 못한다.
또 한가지 접근방식은 데이터마트(Data Mart)방식이다. 데이터마트는 DW보다는 규모가 적고 업무영역도 많지 않은 소규모 DW라고 할 수 있다. 때문에 소규모 중소기업에 아주 적당한 솔루션이다. 그러나 대기업들이 각 업무부서 단위로 데이터마트를 도입, 구축하려는 움직임이 일고 있다. 데이터마트가 DW보다 적은 비용으로 신속하게 구축할 수 있다는 장점 때문이다. 그러나 데이터마트가 회사내에 많아지면 일단 전산실에서 운영하기 어렵고 나중에 전체 데이터마트를 통합시키는 것이 불가능하며 데이터마트끼리 데이터가 서로 다른 경우가 많다. 한 마디로 기업내에 존재한 수많은 데이터마트는 많은 혼란을 초래한다.
주로 금융권에 구축되어 있는 정보계 시스템방식으로 DW에 접근하는 경우도 있다. 이 정보계 시스템은 운영계 혹은 계정계 시스템에서 생긴 로그 파일을 읽어 데이터를 중심으로 통합DB를 구축하고 분석하는 목적에 따라 목적별 DB를 구축하는 것을 말한다. 이런 정보계 시스템은 구축기간이 1년 이상 걸리고 구축비용도 엄청나게 많이 든다. 보고자 하는 장표의 종류가 수백 종에서 수천 종에 이르고 이를 만들기 위해 일일이 프로그램을 해야 하기 때문이다. 문제는 이렇게 많은 기간·비용·인력을 투입해서 시스템을 구축해도 현업으로부터 새로운 장표를 만들어 달라는 요구사항이 나오면 또 프로그램 개발을 해야 한다는 점이다.
DW는 수년 동안 기업의 운영계 시스템에서 생긴 내부데이터와 외부데이터를 주제별로 통합해 별도의 프로그램 없이 사용자가 즉시 여러 각도에서 분석을 가능케 하는 통합시스템이다. 여기서 가장 중요한 것은 데이터를 통합하는 것과 통합된 데이터를 다양한 방식으로 분석하는 것이다. 당연한 말 같지만 이 두가지를 혼동하는 데서 많은 오류가 생긴다. 데이터 통합이란 여러 종류의 운영계 시스템에 발생하는 데이터를 하나의 서버에 모으는 것이고 데이터 분석은 통합된 데이터를 다양한 방식으로 분석하는 것을 의미한다. 데이터 통합과 데이터 분석은 근본적으로 그 성격이 매우 다르다. 데이터 통합은 시간이 많이 걸리고 그 효과가 당장 보이지 않는 반면, 데이터 분석은 그 효과가 금방 나타난다.
DW를 구축하는 목적은 데이터를 분석하고 이를 통해 기업경영에 필요한 고급정보를 얻기 위해서다. 고객을 이해하고 유지하며 기업의 손익을 분석해 이익이 많은 제품과 조직·환경을 결정, 기업 자산을 효과적으로 투자하도록 하는 데 있다. 현재 개인휴대통신(PCS) 사업자의 최대 관심사는 의무가입 고객의 향방이다. 어떤 고객이 해지를 할 것인지 미리 파악, 마케팅을 강화하는 것이 중요하다. 이를 해지자 분석이라고 하는데 고객의 통화 패턴, 고객 기본정보, 요금 납부형태 등을 고려해 해지할 만한 고객에 대한 점수를 계산해 점수가 높은 고객을 중심으로 마케팅을 한다. 대규모 할인점에서는 물류비용을 절감하기 위해 품목별·매장별·일별 매출 예측을 정확히 해야 하며 카드회사는 고객의 신용도를 감안, 카드 사용한도를 정하고 신규 상품·프로그램을 개발한다.
이러한 데이터 분석의 예는 모든 경영자의 주요 관심사며 현업은 이러한 고급정보를 만들고 싶어한다. DW구축 목적은 이런 고급 분석정보를 제공하는 데 있다. 데이터 분석은 DW의 꽃이고 데이터 통합은 DW의 토대다. 따라서 데이터 분석은 데이터 통합 없이는 불가능하고 데이터 분석이 없는 데이터 통합은 효과가 없다. DW구축 효과를 극대화하기 위해서는 많은 준비가 필요하다. 경영에 필요한 정보를 얻기 위해 데이터 분석을 하고 싶어도 데이터가 없거나 빠진 것이 있다면 데이터 분석을 할 수 없다. 또한 데이터가 있어도 데이터 분석을 할 수 있는 능력이 없다면 데이터를 만들어 놓은 노력이 헛수고가 될 것이다. 어느 기업이나 데이터를 통합하는 일은 전산실이 하고 데이터를 분석하는 것은 현업 부서가 한다. 따라서 DW를 가장 효과적으로 구축하기 위해서는 전산실과 현업 부서가 완전한 의견일치가 돼야 한다. 이것은 DW 도입과정에서부터 구축하고 사용하는 시점까지 처음부터 끝까지 한팀이 되어 움직여야 한다. 그러나 많은 경우 DW구축은 전산실이 주도하게 되고 DW를 구축한 후 현업이 피동적으로 사용하게 되는데 이는 데이터 통합과 분석이라는 역동적인 관계를 이해하지 못한 결과다.
DW도입을 검토하는 실무자들은 DW의 구축효과를 매우 알고 싶어한다. 초기에 DW를 구축하게 되면 DW기능 중에서 사용자가 스스로 장표를 만들어내는 OLAP에 대해 매우 만족스러워한다. 그동안 1주일 이상 걸리는 장표를 불과 몇분 이내에 만들어내는 것이다. 하지만 이것은 DW효과 중에서 가장 기초적인 것이다. DW의 구축효과를 상승시키기 위해서는 데이터를 분석, 경영층의 의사결정을 도와주는 중요한 고급정보에 대한 현업의 이해를 바탕으로 DW를 구축해야 한다. 다시말해 DW의 두가지 측면 중에서 데이터 분석분야에 대해 전향적인 현업의 요구사항이 도출되어야 한다. DW 구축효과는 결국 그 회사의 전산실과 현업의 수준에 의해 결정될 수밖에 없다. DW에 대한 개념을 전산실과 현업부서가 정확하게 일치시키고 미래 지향적인 사용자 요구사항을 도출, 장기적인 계획을 수립해 단계별로 구축하는 것이 최선이다.
장기적인 계획을 수립할 때는 데이터 통합이라는 측면과 데이터 분석이라는 측면을 함께 고려해야 한다. 데이터 통합은 매우 어려운 일이다. 수많은 운영계 시스템에서 데이터를 추출, 정제하고 통합시키는 것은 때로는 불가능한 경우도 있고 기존 시스템의 일부를 수정해야 하는 경우도 있다. 그러나, 전산책임자는 DW를 한 기업의 데이터 인프라라고 생각해야 한다. 인프라는 기업경영, 작게는 전산 시스템에서 없으면 안되는 아주 중요한 부분이다. 예를 들면 최근 기업들이 도입하고 있는 관리회계는 ABC(Activity Based Costing)방식에 의해 기업의 다양한 활동과 제품에 대한 비용을 배분해 제품 판매에 대한 이익을 정확히 계산해 낼 수 있는 것이다. 이러한 분석을 하기 위해서는 경영계획·재무회계 시스템·판매관리 시스템·생산관리 시스템·물류관리 시스템 등 다양한 기간 시스템에서 데이터를 추출해야 한다. 만일 이 회사가 고객 중심의 DW를 구축했다고 해도 다시 기간 시스템에서 데이터를 추출해야 한다.
데이터의 인프라를 구축하는 입장은 당장 분석에 필요하지 않은 데이터라도 통합시키는 작업을 꾸준히 해야 한다. 그래야 필요할 경우 바로 분석할 수 있는 시스템을 만들 수 있다. 데이터의 인프라는 회사 전체의 데이터를 보관하는 저장고(Repository)라고 생각할 수 있다. 중요한 것은 단시일 내에 전사적으로 데이터 인프라를 구축하기 어렵다는 점이다. 그러나, 미래의 다양한 분석을 위해서는 장기적인 계획을 가지고 데이터를 통합, 정제시키고 질을 높여야 한다. 만일 이러한 데이터의 인프라가 갖추어져 있지 않다면 변화하는 경영환경에서 즉각적으로 대응하는 고급분석은 하기 어려울 것이다.
DW구축의 효과는 데이터 통합 측면보다는 당연히 분석분야에서 생긴다. 그러나, 기업의 데이터 인프라로서 DW를 구축하면 구체적인 경영목표는 쉽게 도달할 수 있다. 왜냐하면 분석에 필요한 모든 데이터가 이미 존재하기 때문이다. 우리나라에서 DW를 구축한 결과 생산성 향상만 고려해도 많은 사이트에서는 1년 이내, 심지어는 6개월 이내로 투자 비용을 회수할 수 있었다.
우리나라에서도 이제는 DW를 시작한 지 3년이 돼간다. 최근에는 기존의 전산자원에 대한 이해와 향후 기업경영의 핵심 사안을 반영할 정도로 유연한 구조로 전환돼가고 있다. 따라서 DW기술의 방향은 기존 시스템과 앞으로 구축될 시스템과의 통합이다. 현재 중요한 이슈는 전사적자원관리(ERP)-DW의 통합과 콜센터-DW의 통합이다. ERP-DW 통합은 ERP가 표준화된 운영계 시스템의 일부이므로 여기에서 나온 데이터를 다른 시스템과 같이 통합해 분석하는 것이 중요하고, 기존의 ERP를 커스터마이징하는 방식으로 장표를 개발하면 시간과 비용이 많이 들기 때문에 경영계획·재무회계·경영 시뮬레이션 등은 DW에 데이터를 통합해 분석하는 경향으로 가고 있다. 콜센터-DW 통합은 고객관리를 좀 더 효과적으로 할 수 있다. 콜센터에서 고객의 전화를 받으면 바로 스크린에 고객의 기본정보는 물론 고객의 기여도·구매 이력·연체유무 등을 한눈에 보면서 고객에 대한 신규제품 및 서비스 제공을 효과적으로 할 수 있다. 예를 들면 고객의 기여도가 높고 신용이 좋은 고객인데 신용카드를 사용하고 있지 않다면 텔레마케터가 신용카드 신청할 것을 권유할 수 있다. TV 홈쇼핑 같은 회사에서는 DW에서 나온 우수고객을 대상으로 콜센터에서 젊은 층에 맞는 신규상품에 대한 안내를 하여 매출을 올릴 수 있다.
또 한가지 중요한 것은 데이터마이닝을 이용해 고객에 대한 각종 점수, 예를 들면 우수고객 기여도 점수, 해지 또는 이탈가능 고객 점수 등을 DW에 있는 고객 정보에 통합시켜 분석을 할 수 있다. 이것은 기업의 영업 창구에서는 대단히 중요한 자료로 사용될 수 있다. 기여도가 높은 고객을 영업 현장에서 미리 안다면 좀 더 좋은 서비스를 함으로써 고객의 회사에 대한 충성도를 높일 수 있다. 마케팅 활동에 대한 결과나 고객의 변동사항을 끊임없이 DW에 수렴하는 시스템을 클로즈드 루프(Closed Loop) DSS라고 한다.
DW의 핵심은 데이터의 인프라다. 그리고 DW의 설계는 항상 변화 발전할 수 있도록 유연성을 최대한으로 살려야 한다. 따라서 반드시 DW에는 메타 데이터라는 것이 있어야 한다. 메타 데이터는 기존 시스템, DW 및 각종 데이터마트에 있는 각종 테이블, 칼럼에 대한 정보와 이 데이터의 출처에 대한 정보, 요약된 정보 등 DW에 대한 모든 정보를 갖고 있다. 이것은 사용자가 광범위한 DW에 들어 있는 데이터를 쉽게 찾아 사용할 수 있도록 한다. 또한 시스템의 유지 보수를 쉽게 하며 데이터의 통합 관리를 용이하게 한다. 메타 데이터가 없는 데이터 인프라는 나침반 없는 바다에서 항해하는 것과 마찬가지다.
DW는 우리나라의 문제점인 고비용 저효율 시스템을 모니터링하고 신속한 의사결정을 내릴 수 있도록 지원하는 데 가장 효과적인 시스템이다.