최근 보스턴 마라톤 테러 용의자를 찾아내는데 중요한 역할을 한 빅데이터는 범죄 해결 수단으로서 뿐만 아니라 여러 분야에서 경제적으로 필요한 가치를 추출할 수 있어 주목받고 있다.
소셜네트워크분석(SNA) 전문기업인 더아이엠씨(대표 전채남)가 국내 최초로 한국형 빅데이터 분석 솔루션(모델명 THE SCRM)을 개발했다. 지난해 6월부터 개발에 착수, 최근 출시한 이 솔루션은 외국산 빅데이터 솔루션의 한글 처리 한계를 극복한 유일한 제품이다.
외산제품은 대부분 알고리즘은 뛰어나지만 주로 정형화된 데이터를 분석하고, 영어 기반 빅데이터 처리 솔루션이다. 따라서 띄어쓰기와 조사, 중의어 및 다의어 등이 많은 한글의 특수성 문제를 해결해 분석하기엔 한계가 있다.
더아이엠씨가 개발한 `THE SCRM`은 한글 데이터 수집 및 정제의 효율성과 정확성을 높였다는 평가를 받고 있다. 또 국내외 포털사이트와 트위터, 유튜브, 페이스북 등 다양한 미디어에서 데이터를 수집, 빠른 시간에 원데이터(Raw Data)를 통합해 제공한다.
웹과 소셜미디어 상의 방대한 데이터를 수집, 텍스트마이닝과 매트릭스데이터 생성까지 일괄 처리되는 방식이다. 따라서 빅데이터 활용의 핵심인 빅데이터 큐레이션과 분석 데이터를 동시에 생성하는 솔루션이다.
전채남 사장은 “THE SCRM은 빅데이터 처리를 프로그램과 인력을 동시에 활용하지만 향후에는 프로그램만으로 데이터를 처리해 데이터 생성시간을 보다 단축시킬 계획”이라고 말했다.
더아이엠씨는 이를 위해 한글 데이터 처리와 분석의 질을 높이는 기술개발을 진행하고 있다. 여기에는 경북대와 영남대 등 학계 언어정보처리 전문가가 참여하고 있다.
이 회사는 또 빅데이터 중요영역인 서비스 분야에 집중하고 있다. 빅데이터가 과거 솔루션 판매에 치중하는 바람에 축소된 제 2의 CRM 시장이 되어서는 안 된다는 판단에서다. 빅데이터를 통해 도출된 데이터가 새로운 가치와 서비스를 창조해야한다는 의미다.
더아이엠씨는 `THE SCRM`을 활용해 다양한 과제를 수행했다. 국가식품클러스터사업단과 산학연 네트워크 구축 용역을, 한국표준과학연구원과는 기술이전을 위한 잠재 수요기업 발굴 프로젝트를 성공적으로 수행했다.
또 국내 최초로 페이스북 기반 리서치인 `소셜 HR(Social Hybrid Research)`를 개발, 응답자의 설문 결과 도출 및 응답자의 SNS 성향까지 분석하는 서비스를 제공하고 있다.
전 사장은 “빅데이터산업이 활성화되려면 톨게이트 정보, 기후데이터 등 공공기관이 보유한 다양한 정보를 민간기업에 개방할 필요가 있다”며 “앞으로 정부가 R&D 지원뿐만 아니라 서비스 영역에서 네트워크를 분석할 수 있는 인력 양성에 나서야 한다”고 강조했다.
대구=정재훈기자 jhoon@etnews.com
