[CIO BIZ+]빅데이터 오해와 진실, `왜 빅데이터를 도입해야 하는가`

한때 유행으로 여겼던 빅데이터가 중요한 화두로 떠오른다. 사물인터넷(IoT) 등 스마트 테크놀로지 발전과 이를 활용한 다양한 서비스 등장으로 빅데이터 중요성은 커졌다. 대형 제조업계를 중심으로 빅데이터를 활용한 구체적 성과가 나타나면서 빅데이터 구축 사업에 관심이 높아졌다. 그러나 여전히 많은 기업은 빅데이터 도입과 활용을 놓고 주저한다. 빅데이터 도입이 실제 어떠한 효과를 가져다줄지 의문을 갖고 있기 때문이다. IT서비스기업 빅데이터 전문가와 함께 빅데이터에 대한 오해와 진실을 분석했다.

◇빅데이터 관련 기술은 대부분 오픈소스라고 하던데, 믿을 수 있을까.

이 의문을 분석한 불신 대상은 두 가지다. 첫째는 소프트웨어(SW) 자체 안정성(품질)에 대한 불신이다. 오픈소스 SW는 주인이 없거나 아무도 책임지지 않는, 일부 개발만이 그 내용을 아는 것으로 오해하기 쉽다. 그렇지만 오픈소스로 공개돼 있는 빅데이터 관련 SW는 이미 구글, 야후 등 대형 IT업체가 사용한 기술이다. 이 기업은 아직도 동일한 SW를 사용한다.

박용익 LG CNS 빅데이터사업부문 상무는 “미주나 유럽뿐만 아니라 우리나라에서도 상당수 기업이 도입해 사용하고 있다는 것만으로도 안정성이나 품질 우려는 불식시킬 수 있다”고 말했다.

두 번째는 유지보수다. 기업이 오픈소스 SW를 사용하고자 할 때 공통적으로 고민하는 것은 유지보수다. 빅데이터 기술은 공신력 즉, 원천기술과 기술지원인력을 보유한 IT기업이 제공하는 ‘배포 버전’을 사용하면 이를 해결할 수 있다.

◇빅데이터 기술이 기존 관계형 DB 기술을 대체하는 것 아닌가

빅데이터 기술 발전 방향성은 기존 관계형 데이터베이스(DB)가 담당하던 영역으로 범위를 넓혀가는 것은 확실하다. 빅데이터를 조회하고 처리 후 저장·재저장하는 기술은 초창기 맵리듀스 기술에 의존했다. 최근 기존 관계형 DB에서 사용하던 SQL을 지원하는 형태의 기술로 발전했다. 맵리듀스나 하둡을 몰라도 SQL만 알면 빅데이터를 다룰 수 있다는 것이다.

아직도 빅데이터 기술이 진가를 발휘할 수 있는 영역과 관계형 DB가 잘 적용될 수 있는 영역은 다르다. 대부분 빅데이터 기술을 제공하는 IT기업은 두 가지 기술이 결합된 하이브리드 형태 구조를 권장한다. 빅데이터와 전통적 데이터를 각각 그 형태에 맞는 최적의 창고에 보관하고 두 데이터 간 결합된 분석이 필요하면 이를 공통적으로 관리한다.

◇빅데이터는 무엇이고, 빅데이터 분석은 무엇인가.

빅데이터를 수집·처리·저장하는 기술은 창고에 곡식을 잘 정리해 쌓는데 필요한 기술과 같다. 분석은 이러한 데이터로부터 의미를 뽑아내는 것이다. 빅데이터가 등장하면서 새롭게 생긴 기술과 전통적 데이터 분석 기술 두 가지로 구분한다. 흔히 알고 있는 통계분석, 데이터마이닝 기술은 빅데이터 분석에도 동일하게 활용된다.

소셜미디어를 분석하는 데 사용되는 텍스트마이닝, 실시간이벤트 처리 기술은 빅데이터가 출현으로 새롭게 등장했다. 데이터를 저장·처리하는 기술을 잘 아는 엔지니어와 분석을 잘하는 데이터 사이언티스트가 다른 사람일 경우가 많다. 어찌 보면 당연하다. 데이터 저장 처리 기술에 정통한 전문가는 컴퓨터공학 등을 전공한 엔지니어일 경우가 많다.

박 상무는 “빅데이터 도입을 고려하는 기업은 필요한 엔지니어 수요를 살펴봐야 한다”며 “어느 영역에 집중해 인재를 양성할 것인지 전략적 접근이 필요하다”고 강조했다.

신혜권기자 hkshin@etnews.com