빅데이터가 화두다. 스마트 디바이스 이용이 확대되면서 개인 감성과 상태를 나타내는 비정형화 된 데이터가 폭증하고 있다. 단순히 데이터 규모가 커진 것이 아니라 분석·활용하는 데 접근 방법 자체가 변화됐다. 기업들은 비정형화 된 데이터를 분석·활용해 영업·마케팅 등 다양한 경영활동에 적용하려는 요구가 높아지고 있다. 그러나 현실적으로 비정형화 된 대규모 데이터를 저장·분석해 활용한다는 것은 쉽지 않다. 국내 대표적 기업 최고정보책임자(CIO)와 전문가들이 모여 해법 찾기에 나섰다.
◇토론참석자
최승돈 이베이코리아 부사장
박원기 NHN IT서비스본부장
박선무 현대증권 상무
조강직 코리아크레딧뷰로 상무
김인현 한국DB산업협회 회장
박진수 한국테라데이타 대표
신재식 정보통신산업진흥원 IT융합단장
사회=임춘성 연세대학교 교수
국내 기업들이 효율적인 빅데이터 활용을 위해 데이터 분석 인력 양성이 시급하다. 빅데이터 처리 기술 수준도 미흡해 관련 투자가 요구되고 있다. 지난 15일 정보통신산업진흥원과 지식정보산업연합학회 주최, 전자신문 후원으로 개최된 제2회 IT이노베이션 CIO포럼 조찬 토론회에 참석한 CIO들은 빅데이터를 활용하는 데 현재로서 한계가 많다고 지적했다. 이날 참석한 전문가들도 빅데이터를 분석할 수 있는 인력 양성과 기술 개발이 필요하다고 입을 모았다. 토론회에는 박원기 NHN IT서비스본부장, 최승돈 이베이코리아 부사장, 박선무 현대증권 상무, 조강직 코리아크레딧뷰로 상무, 김인현 한국DB산업협회 회장(투이컨설팅 대표), 박진수 한국테라데이타 대표, 신재식 정보통신산업진흥원 IT융합단장 등이 참석했다. 다음은 참석자 토론 내용이다.
◇사회(임춘성 연세대학교 교수)=기업경영에 빅데이터가 화두가 됐다. 그러나 빅데이터는 어제 오늘 이야기가 아니다. 단지 사회적 변화가 극심해지면서 빅데이터 이슈가 더욱 부각된다. 오늘은 기업 CIO, 전문가들과 함께 빅데이터 실체를 논의해보고자 한다.
◇박진수 한국테라데이타 대표=빅데이터 개념이 새로 생긴 것은 아니지만 최근 데이터 규모가 급속도로 커져다. 과거 한국테라데이터 고객 중 페타바이트 규모 데이터를 갖고 있는 기업은 10여개사에 불과했으나 이제는 20개사를 넘어선다. 기업들이 늘어나는 데이터에 대한 대응방안을 마련해야 한다. 그러나 빅데이터를 적절하게 처리할 수 있는 인력이 없다. 해당 인력을 양성하는 교육기관도 없다. 데이터 사이언스에 대한 중요성을 인식하고 있지 못하기 때문이다. 현재 일부 기업을 제외하고는 빅데이터에 대한 적절한 대응방안을 마련하지 못하고 있다.
◇신재식 정보통신산업진흥원 IT융합단장=일본에도 빅데이터가 이슈다. 예를 들어 대지진 이후 일본 정부나 지방자치단체에서 운영하는 소셜네트워크(SN)사이트가 급증했다. 관련 사이트가 기존 90여개에서 360개까지 늘었다. 사람을 찾는 애플리케이션도 많아졌다. 재난대응에 소셜네트워크 사이트 데이터를 적극 활용하기 시작한 배경이다.
◇사회=빅데이터가 사회 전반에 대해 화두인 것 같다. 빅데이터 활용을 놓고 고민하는 기업들 이야기를 들어보자.
◇박원기 NHN IT서비스본부장=빅데이터가 이슈인 것은 비정형적인 데이터가 급속도로 늘어났기 때문이다. 이러한 비정형 데이터는 대부분 포털에 있다. NHN은 다양한 스마트 디바이스 기반으로 발생된 불특정 다수의 감성적인 데이터를 어떻게 저장할지 고민하고 있다. NHN에는 하루 물리적으로 100테라바이트, 논리적으로 70테라바이트 규모의 데이터가 새로 생성된다. 이 중 중복된 데이터를 제거한다 하더라도 50테라바이트가 된다. 50테라바이트 규모는 국내서 매출 3조원대에 이르는 기업이 보유한 규모다. NHN에는 이러한 규모 데이터가 하루에 생긴다. 대용량 데이터를 저렴한 비용에, 안전한 디바이스에, 빠르게 서비스할 수 있는 저장공간이 필요하다. 기업 생존과 관련된 얘기다. 빅데이터를 처리할 수 있는 SW원천기술도 필요하다. 빅데이터 처리를 지원할 수 있는 IT인프라도 갖춰야 한다. 결국 비정형 데이터를 얼마나 잘 분석하느냐, 얼마나 잘 지원할 수 있느냐가 관건이다.
◇최승돈 이베이코리아 부사장=이베이코리아는 데이터가 급증함에 따라 사용자 유형을 분석하는 연구가 활발히 진행되고 있다. 하루에 600기가바이트 규모 데이터가 처리된다. 이는 대부분이 옥션·지마켓·어바웃 등에서 사용자들이 남기는 로그 데이터들이다. 사용자들은 한번 사이트에 들어올 때마다 로그데이터를 남긴다. 이는 비정형 데이터다. 이를 분석하기 위해 별도 SW를 개발하고 있다. 현재로서는 빅데이터 분석을 위한 기술은 수준이 미흡하다. 대용량 데이터를 저장하고 처리하는 ‘하둡(Hadoop)’ 기술이 있지만 완벽하지 않다. 사용자 행위를 잘 분석하고 비즈니스에 반영해야 하는데 분석할 기술이 없다.
◇김인현 한국DB산업협회장=빅데이터에 대한 정확한 개념규정부터 해야 한다. 빅데이터는 크게 세가지 특성을 갖는다. 우선 빅데이터는 일반적인 흐름에서 발생된다. 두 번째는 대용량을 의미한다. 세 번째는 다양성이다. 이 기준에 부합하지 않으면 스마트 데이터다. 스마트 데이터는 몰라도 빅데이터는 품질을 따져서는 활용할 수 있는 방법이 없다. 빅데이터를 처리하는 데 문제가 있다. 빅데이터 처리기술이 성숙되지 못했다. 빅데이터를 사용하는 조직도 성숙하지 못했다. 조직 내 빅데이터를 이해할 수 있는 사람이 없다. 빅데이터를 어디에 사용할지 조차 모른다. 빅데이터가 화두가 됐지만 시장에서 활성화되기까지는 시간이 필요하다.
◇박선무 현대증권 상무=증권회사는 그동안 대부분 수익이 매매체결에서 발생했다. 따라서 데이터 분석 및 활용 신경 쓰지 않았다. 이제는 상황이 달라졌다. 자본시장통합법이 시행되면 고객 타깃이 변화된다. 과거 대부분 고객이 지점을 이용하는 고객이라면 이젠 상당수는 온라인을 통한 고객이다. 증권회사 영업과 마케팅 담당자 생각이 변해야 한다. 그동안 전사데이터웨어하우스(EDW)를 구축, 고객관계관리(CRM)에 활용하는 정도였다면 내년부터 많은 부분에서 변화가 일어날 것이다. 데이터 분석이 그 어느 때보다 중요해진다. 증권사들도 종합금융 사업을 해야 하기 때문이다.
◇조강직 코리아크레딧뷰로 상무=기업은 고객을 분석해 어떠한 가치를 줄 것인가를 고민한다. 문제는 대부분 기업은 자사 고객 정보밖에 갖고 있지 않다는 것이다. 금융회사가 특정 지역 내 대출 점유율을 파악한다고 하더라도 할 수가 없다. 해당 지역 인구가 몇 명이고 총 대출액이 얼마인지를 알아야 하는데, 알 수가 없기 때문이다. 서로 다른 데이터를 연계해야 한다. 예를 들어 서울시가 갖고 있는 교통정보와 코리아크렛딧뷰로가 갖고 있는 직장인 정보를 융합해 이용인구가 많은 버스 노선을 새로 만들기도 했다. 가치를 새로 창출한 것이다.
◇신재식=정부 서비스가 통합 형태로 가고 있지만 한계가 많다. 공공정보 이용활성화 법률이 있지만 부처 간 데이터를 공유하지 못하는 경우가 많다. 공공 데이터도 정부 IT인프라처럼 통합 관리가 이뤄져야 한다. 공공정보 중 물가관리, 의료정보에 대해 다양한 서비스가 시작될 것이다. 정부에서 안정적으로 빅데이터를 분석해 민간시장과 연계, 새로운 서비스 체계를 만들어야 한다. 기술적 지원도 필요하다.
◇사회=빅데이터에 대한 많은 이야기를 들었다. 빅데이터 활용을 위해 보다 발전적인 방안을 제시해 달라.
◇박원기=데이터를 활용해 다양한 서비스를 제공하려고 해도 개인정보보호 때문에 제약을 많이 받는다. 일본서 재난 발생시 사람을 찾을 수 있는 서비스를 제공한다고 하지만 우리나라에서는 불가능하다. 개인정보 이슈를 무조건 적용하기 보다는 효율적으로 적용하는 방안을 마련해야 한다. 원천기술 확보도 이뤄져야 한다. 인력양성도 필요하다.
◇박진수=회사마다 빅데이터 처리는 모두 다른 것 같다. 데이터 사이언스 측면에서 구글이나 네이버 등 인터넷 기업들은 인력을 많이 양성했다. 그러나 그 외 다른 기업들은 인력 확보가 어렵다. 분석을 잘할 수 있는 인력을 양성해야 한다.
◇조강직=앞으로 개인 단위 정보를 이용하기는 더욱 어렵다. 개인정보보호법 시행으로 개인에게 사용 승인을 받지 않으면 정보를 활용할 수 없다. 개인정보를 융합해 활용하기도 쉽지 않다. 현재로서는 사용자 행위를 개인이 아닌 유형별로 분류해 패턴 분석을 하는 방법이 효과적이다.
◇박선무=과거 데이터 분석 및 예측에 대해 영업 등 현업 부서에서 따라오지 못했다. 그러나 이제는 다르다. 경영진을 포함 전사 영역에서 여러 정보를 다양하게 분석, 활용할 수 있어야 한다. 수익을 창출할 수 있는 서비스를 본격적으로 해야 한다.
◇신재식=공공 분야에서 재난, 의료, 위치, 안전 등 분야에서 정보가 융합되면 통합 관점에서 국가적 제어가 필요하다. 다양한 관점에서 국민에게 서비스할 수 있도록 인프라가 갖춰져야 한다.
◇최승돈=빅데이터는 새로운 영역이다. 교육기관에서 이를 반영해 충분한 교육이 이뤄져야 한다. 이러한 부분이 부족하다. 학교에서 보다 신경을 써줘야 한다. 공급업체에서 보면 기술 투자를 좀 더 확대해야 한다.
◇김인현=기업들은 빅데이터에 대한 정확한 개념을 갖고 있지 못하다. 가장 먼저 개념 파악부터 해야 한다. 무엇을 위해 데이터를 분석해야 할지 고민해야 한다. 데이터 분석 인력이 필요한데 현재 매우 부족하다.
◇사회=빅데이터 활용을 극대화 하는 데 있어 필요한 것은 인력양성과 기술개발인 것 같다. 오늘 빅데이터논의를 계기로 다양한 방안들이 마련되길 바란다.
정리=
신혜권기자 hkshin@etnews.com