[전문가기고]빅 데이터가 `빅(BIG)`인 이유

미국이나 영국 등 선진국을 중심으로 빅데이터 열풍이 점입가경이다. 데이터는 이제 단순히 업무 지원에 필요한 자료가 아니라 새로운 가치를 만들어내는 자원으로 인식되고 있다. 그러나 빅데이터의 본질에 대한 정확한 이해가 수반되지 않으면 데이터를 무궁한 가치 자원으로 바꾸어낼 수 없다.

보통 빅데이터가 `빅(BIG)`인 이유를 `3V`에서 찾는다. 데이터 규모(Volume)가 커지고, 데이터 형식이 다양화(Variety)되며, 데이터 발생 속도(Velocity)가 가파르게 증가하고 있다. 그러나 이는 기술적 관점에서 본 피상적 현상일 뿐, 본질을 얘기하는 것은 아니다. 이런 식으론 어디까지가 빅이고 스몰인지 알 수 없으며 빅데이터 시대에 제대로 대응할 수 없다.

빅데이터가 빅(BIG)인 진정한 이유는 특정 영역에 국한해 상시적 업무 차원에서 데이터를 처리(Data Processing)하는 것이 아니라, 연관성이 없어 보이는 다른 데이터와의 맥락을 처리(Context Processing)함으로써 새로운 가치를 만들어내는 데 있다. 고객 그 자체가 아닌 고객의 그림자를 읽으라는 것이 맥락 처리의 핵심이다.

한 영역의 데이터와 다른 영역의 데이터를 연결 지어 분석하려니 데이터 규모가 커지는 것이고, 처리할 데이터 형식이 다양화되며, 새로운 데이터의 발생 속도가 가파르게 증가할 수밖에 없는 것이다. 특히 업무중심의 전통적 정형 데이터와 대중의 생활 속에서 생성, 유통되는 비정형 데이터, 감지 데이터, 공간 데이터 등의 다양한 결합이 빅데이터를 빅(BIG)으로 만든다.

그러나 가치를 발생시킬 수 있는 각종 영역의 데이터를 어디에서 어떻게 끌어다 연계지어 분석할 수 있을 지는 쉽지 않은 문제다.

안전행정부는 지난 9월부터 정부 각 부처와 자치단체, 공공기관에서 생산되는 다양한 공공정보를 웹, 블로그, 뉴스, SNS 등 방대한 양의 민간 정보와 융합 분석할 수 있도록 `빅데이터 공통기반(platform)` 구축 작업에 착수했다. 통계청의 물가 데이터에서부터 국민생활에 가장 시급한 과제인 사회안전(범죄, 교통사고, 재난재해), 국민복지(신규 민원 정책), 국가인프라(국가미래전략 및 위기대응)로 점차 데이터 플랫폼을 확대할 계획이다.

이 사업은 그간 정부가 독점하던 공공정보를 파격적으로 개방함으로써 빅데이터 시대에 적극 부응하고, 민간 활력이 접목된 `창조경제`의 씨앗으로 삼고자 한다는 점에서 매우 시의적절하다. 또 `정부3.0`의 실천적 수단을 제공할 수 있다는 점에서 상당히 큰 의미를 갖는다.

그러나 이러한 시도가 소기의 성과를 거두기 위해서는 기술 개발과 축적도 물론 필요하지만 더욱 중요한 것은 공공데이터 플랫폼이 갖는 고유의 특성을 정확히 이해하고 그 대응 수단을 모색하는 것이다. 무엇보다도 각 부처, 자치단체와 공공기관, 국민 등 각 주체에 대한 심도 있는 이해가 수반되지 않으면 안 된다. 플랫폼 제공자는 안행부가 되겠지만 그로부터 가치를 창출하는 것은 전체의 몫이다.

정부의 데이터 처리 방식을 오케스트라라고 한다면 대중의 방식은 재즈와 유사하다. 오케스트라는 사전에 정한 규칙과 방식에 의해 정해진 하모니를 이루지만, 재즈는 사전에 정해진 바 없이 감흥에 따라 즉흥적 하모니를 만들어낸다.

결국 데이터 플랫폼이 새로운 가치 창출의 원천이 되기 위해서는 대중이 재즈를 연주하듯 그들의 직관과 창의적 역동성이 발휘될 수 있도록 설계되는 것이 최대 관건이다. 혹여 대중에게 오케스트라를 연주하도록 요구하는 우를 범해서는 안 된다. 빅데이터가 `빅(BIG)`인 진정한 이유는 다양한 데이터 영역 간 맥락을 발견함에 있으며, 이는 대중이 재즈를 연주할 수 있을 때 가능하다.

김숙희 솔리데오시스템즈 대표·정부3.0 민간자문단 위원 unicon01@solideos.com