[ET단상]빅데이터의역설, 데이터 시각화가 해답

오늘날 빅데이터는 그 도입 효과를 강조하는 것이 무의미할 정도로 전방위 산업에 걸쳐 확산되고 있다. 하지만 금융기관에서부터 의료, 유통 그리고 정부기관 등 다양한 기관과 기업에 도입된 빅데이터 기술이 과연 현장에서 도입 목적에 부합해 제대로 쓰이고 있는지는 의문이다.

최근 미국 경제전문지 포브스는 세계에 퍼져 있는 각종 정보 가운데 실제로 사용되거나 분석에 활용되는 정도는 0.5%도 되지 않는다고 발표했다. 또 다른 조사에 따르면, 현장에 있는 실무진은 빅데이터 사용에 부담을 느끼며 업무에 사용하기를 꺼리고 있는 것으로 밝혀졌다. 이는 빅데이터가 시장 상황을 내다보고 비즈니스 인사이트를 도출하는 유용한 무기가 될 것이라고 예상했던 장밋빛 기대와 상반되는 결과다. 즉, ‘빅데이터의 역설’이라고 볼 수 있다. 빅데이터 분석 필요성을 느끼면서도 정작 제대로 활용하지 못하고 있는 것이다.

이러한 문제는 빅데이터에 대한 접근 방식 한계에서 비롯된다. 단순히 하둡만으로 빅데이터 시스템을 구축하고자 했기 때문이다. 지금까지 하둡은 다양한 형태의 대량 데이터를 쉽게 수집하고 처리할 수 있는 빅데이터 기술 대명사로 통했다. 물론 대량의 데이터를 수집하고 처리하는 기술이 중요한 것은 사실이다. 그러나 수집된 데이터 간 연관관계를 찾고 그를 통해 비즈니스에 필요한 인사이트를 도출하는 것이야말로 진정한 빅데이터 도입 이유다. 빅데이터 기술 역점은 하둡에서 실질적으로 인사이트를 도출하는 데이터 시각화 기술로 한 단계 더 나아가는 것이 해답이 될 수 있을 것이다.

빅데이터 분석 과정은 데이터 발굴, 탐색, 변형, 분석, 공유 등 다섯 가지 단계로 세분화된다. 빅데이터 가치를 높이기 위해서는 각각 단계를 보다 손쉽고 효율적으로 만드는 빅데이터 솔루션 및 전략이 필요하다.

우선 데이터를 발굴하고 탐색하는 과정에서는 담당자들이 신속하게 유용한 데이터를 파악할 수 있도록 하는 것이 핵심이다. 따라서 방대한 양의 데이터 사이에서 빠르게 연관성을 파악할 수 있도록 데이터 간 상관관계를 가시화하는 기술이 요구된다. 이후, 변형 과정은 하둡 내의 로우(raw) 데이터를 실제로 분석하기 전 준비 과정을 뜻하며, 이 과정을 최소화하는 것이 보다 효율적인 데이터 분석을 위한 지름길이다.

더욱이 준비 과정과 분석 과정에서는 서로 다른 툴을 적용해야 하는데 이 전환을 클릭 한 번으로 쉽고 빠르게 지원할 수 있는 기술도 중요하다. 마지막으로 분석 결과를 어떻게 사내에 공유하고, 전략적으로 활용할 수 있을지 고민해야 한다. 빅데이터 기술을 실무에 제대로 활용할 위해서는 데이터 분석 결과를 한눈에 파악할 수 있도록 시각화해 제공할 수 있어야 한다.

예를 들어 오라클 빅데이터 디스커버리는 하둡을 활용해 가공되지 않은 로우 데이터를 별도 변환 과정 없이 분석 가능한 형태로 손쉽게 전환할 수 있도록 지원하며, 빅데이터 분석 결과를 시각적으로 보여줘 현업에서 보다 쉽고, 빠르게 비즈니스적 의사 결정을 내릴 수 있도록 도와 준다.

미국의 ‘1000대 기업’은 빅데이터 사용량을 10% 정도만 늘려도 약 769억원의 추가 순익을 얻을 수 있다고 한다. 국내 기업도 빅데이터가 제 기능을 다할 수 있도록 제대로 된 분석 도구를 도입해 그 무궁무진한 잠재력을 발휘할 수 있도록 빗장을 열어두어야 할 시점이다.

한국오라클 데이터베이스 사업부 이형배 부사장 hyungbae.lee@oracle.com