현업 사용자가 만족하는 빅데이터 분석 환경 구축 전략
1)빅데이터 분석, CRM의 쓰라린 추억을 잊었나
2)빅데이터 분석의 환상①누구나 게임 체인저가 될 수 있다?
3)해외 컨설팅 업체의 조언①딜로이트 “정보 자산을 알고 있는 실무자들과 먼저 논의하라”
4)해외 컨설팅 업체의 빅데이터 분석 조언②아링 “빅데이터를 비즈니스 임팩트로 전환하는 4단계”
5)데이터 과학자만 있으면 OK? 빅데이터 분석팀의 5가지 필수 인력
6)솔루션은 거들 뿐, 엔드유저가 외면하면 게임오버…실무자에 직관성과 속도를 허하라
7)진격의 셀프서비스BI: 데이터 디스커버리&비주얼라이제이션이 뜬다
8)빅데이터 분석의 환상②비정형 데이터가 모든 것? 정형 데이터와 통합·연관 분석 없인 껍데기
9)데이터 획득부터 분석, 판단, 실행까지 실시간 아니면 쓸모없다
10)빅데이터 분석이 일으킨 x86 서버의 반란…통합에서 다시 분산의 시대로
2000년대 초반 현업의 과도한 기대와 투자를 받았던 고객관계관리시스템(CRM)은 시행착오를 거치는 2~3년 동안 죄인 아닌 죄인이 되었다. CRM 시스템 자체의 문제가 아니라 시스템 사용이 강제되지 않은 업무 프로세스와 기업 문화, 분석 대상으로서 데이터의 품질과 유효성이 문제였다고 전문가들은 지적한다. 빅데이터 분석도 유사한 시행착오를 겪을 가능성이 높다.
기술의 발전으로 이전까지 분석의 대상이 아니었던, 분석의 사각지대에 있었던 고객 불만 기록, 영업일지 등 텍스트 데이터 혹은 생산설비 MES에서 발생되는 데이터, 로그 데이터 등 비정형, 반정형 데이터를 분석함으로써 이전에는 질문하지 못했던 것들, 또는 질문에 답해주지 못했던 것들, 심지어 답을 얻을 수 있을 거라고 생각지도 못했던 질문과 그 해답을 얻을 수 있게 되었다. 그렇다면 빅데이터 분석을 하는 기업은 누구나 게임 체인저가 될 수 있는 것일까.
김인현 투이컨설팅 대표는 “기업들은 빅데이터 분석에 대한 환상을 갖고 있다”며 “무엇을 어떻게 할 것인가에 대한 그림이 없어 선도기업들 조차 일단 빅데이터 솔루션을 도입하고 인프라를 갖추는 것으로 시작하는 경우가 많은데 이러한 기술적 접근은 위험하다”고 지적한다.
김인현 투이컨설팅 대표에 따르면 빅데이터 접근 방식은 △기술 우선 △사용 예(유스케이스 혹은 파일럿 프로젝트) 중심 △인력 확보로 나눌 수 있다.
기술적 접근에 대해 우려를 표하는 것은 빅데이터 분석 기술 자체가 대단히 빠른 속도로 발전하고 다양한 솔루션들이 빠르게 등장하고 있기 때문이다. 몇 개월에 걸쳐 개념검증(PoC)과 파일럿 프로젝트를 수행해도 정작 실사용 단계에서는 더 적절하고 저비용의 기술과 솔루션이 새로 등장할 수 있다.
◇빅데이터 분석, 성공으로 이끌 시행착오 거쳐라=유스케이스 접근 방식도 염려스러운 부분이 있다. 빅데이터 분석 목표를 정하고 어디에 적용할지 파일럿 프로젝트를 수행하는 것은 신중하며 타당한 접근으로 보인다. 하지만 해당 프로젝트에서 기대치에 부합하는 성과가 없을 경우 기업들은 빅데이터 분석에 실망하거나 회의적 반응을 보일 수 있다. 김인현 투이컨설팅 대표는 이를 석유 시추 과정에 비유한다.
예를 들어 탐사 자료에 기반을 둔 매장 예상 지역의 10개 공구에서 실제로 석유가 나올 확률이 10%라고 하고, 1공구 시추에서 석유가 나오지 않았다고 해서 유전 개발 작업이 실패했다고 볼 수 있느냐는 비유다. 1공구에 석유가 없다는 사실을 확인한 것, 그리고 남은 공구에 석유가 발견될 가능성이 높아진 것 또한 시추 작업의 중요한 성과다.
“빅데이터 분석도 마찬가지로, 특정 데이터에 특정 분석 모델을 적용해 원하는 결과를 얻지 못했다면 해당되는 데이터는 따로 있다는 사실을 알게 된 것이고 이 역시 빅데이터 분석의 성과 중 하나인데 기업들은 이를 실패로 여긴다”고 김인현 투이컨설팅 대표는 지적한다.
유료 온라인 영화 스트리밍 서비스인 넷플릭스는 빅데이터 분석의 성공 사례로 종종 거론된다. 넷플릭스의 영화 추천 성공률은 무려 85%. 하지만 이에 이르기까지 넷플릭스가 겪었을 시행착오는 외면된다.
빅데이터 분석에 착수하기 위해 인력부터 확보하려는 기업들도 있다. 그러나 빅데이터 전문가를 쉽게 구할 수 있는 것도 아니며 빅데이터 전문가를 인증하는 공신력 있는 인증제 또한 없다. 딜로이트컨설팅은 올 초 ‘Finding the Face of Your Data’라는 보고서에서 “공급망, 고객서비스 등 현업 실무 지식과 IT 지식을 둘 다 겸비한 데이터 사이언티스트, 데이터 전문가를 구하기란 극히 어렵다”고 지적했다.
또 데이터 사이언티스트를 21세기의 가장 섹시한 직업으로 소개한 바 있는 하버드 비즈니스 리뷰(HBR)는 기업의 빅데이터 분석팀이 최소 5개의 역할로 구성된다고 주장했다. △데이터 위생사(Data Hygienists. 분석 시스템으로 유입되는 데이터의 품질은 물론 전체 수명주기에 걸쳐 데이터 품질을 책임지고 관리) △데이터 탐색가 △비즈니스 솔루션 아키텍트 △ 데이터 사이언티스트 △캠페인 전문가가 그것이다.
개별 인력이 역할을 나눠서 맡든 이 다섯 가지 기능을 모두 갖춘 사람들로 구성하든 기업이 빅데이터 분석팀을 꾸릴 때 필수로 확보해야 하는 역량이다. 그렇다면 현재 이런 인재들이 국내 얼마나 마련되어 있을까. 이런 인력을 찾을 가능성은 매우 낮다.
◇사실 기반의 기업 문화, 업무 프로세스의 빅데이터 분석 내재화 선행되어야=미 실리콘밸리에 위치한 분석 트레이닝 및 컨설팅 기업 아링(Aryng)의 CEO인 피양카 제인은 포브스에 게재한 기고에서 △기업의 현 상태 파악(측정 프레임워크) △기업의 비즈니스 역동성-비즈니스 동인 파악(포트폴리오 분석) △고객과 고객 인게이지먼트 파악(고객 분석)이 빅데이터 분석을 할 때 3대 핵심 질문이라고 지적했다.
빅데이터 분석에 착수하려는 기업들은 △축적된 데이터 △분석 인력 △업무 프로세스에 빅데이터 분석 반영 등 자사의 수행 능력부터 먼저 파악하고 모자란 부분을 채워가야 한다. 데이터 분석가가 작업할 수 있도록 분석 대상 데이터가 충분히 확보되고 데이터의 유효성(품질) 또한 일정 수준에는 달해야 한다.
유효 데이터, 전문가를 확보했다고 해서 빅데이터 분석의 성과가 절로 뒤따르진 않는다. “데이터 분석을 하고 있다고 하는 많은 기업들이 분석 신뢰도의 준거 기준을 갖고 있지 않는 경우가 더러 있다”고 김인현 투이컨설팅 대표는 전했다.
기업은 자체적인 분석 신뢰도 기준을 갖고 있어야 하며 설문조사 결과든 통계처리 결과든 모든 데이터 분석 보고서는 이 신뢰도 수준 이상을 만족시켜야 한다. ‘신뢰도 몇%에서 이 보고서를 믿을 수 있다’고 말할 수 없는 데이터 분석을 어떻게 믿을 수 있냐는 것이다.
데이터 분석 보고서의 높은 신뢰도 기준은 빅데이터 분석을 하는 이유, 즉 사전 예측의 높은 적중률과 불가분의 관계다.
그동안 기업들은 비즈니스 애플리케이션, 업무 프로세스 리엔지니어링(BPR)에 투자를 단행해 동일 시간대에 얼마나 빨리, 많은 업무를 처리할 수 있느냐를 혁신의 지표로 삼아 왔다. 그러나 이제 은행 영업창구에서 1시간에 얼마나 많은 고객을 상담하느냐가 아니라 1시간에 1명의 고객을 만나더라도 상품 판매에 성공하는 것이 더 높은 가치를 인정받고 있다. 이를 가능케 하는 것이 빅데이터 분석에 기반을 둔 미래 예측이다. 과거에는 기업의 규모, 업계 위치가 기업의 전략적 무기였지만 글로벌·인터넷 시대의 전략적 무기는 적중률 높은 미래 분석력이 그 자리를 대신하고 있다.
따라서 빅데이터 분석은 △사실(fact) 기반의 기업 문화 △분석 결과를 읽어낼 수 있는 인적 능력 △신뢰할 수 있는 분석의 토대가 되는 유효 데이터 △다양하고 방대한 데이터 소스를 처리할 수 있는 기술 △업무 프로세스 전반에 데이터 분석이 결합되는 구조화를 모두 만족시키지 않으면 성공하기 어렵다는 게 김인현 대표의 조언이다.
박현선기자 hspark@etnews.com
전자신문인터넷 테크트렌드팀