최근 IT업계 최대 화두는 빅데이터다. 기존 방식으로 처리할 엄두를 못 내던 데이터 양과 이를 처리할 수 있는 기술을 개발하기 위해 국내외 많은 기업들이 분주하다. 데이터스톰(대표 고익진)은 2011년 이 시장의 가능성을 보고 설립된 회사다.
설립 전 한 반도체회사 생산라인의 일일 1.8테라바이트(TB) 로그 중 에러 로그를 실시간 검색해낸 경험이 있다. 이를 통해 모든 산업 현장에는 기존 소프트웨어(SW)나 데이터베이스(DB)로 처리할 수 없어 사장되는 데이터가 무수히 많다는 것을 알았다. 억지로라도 찾아야 한다면 그것이 수작업으로 기약 없이 진행되는 것을 발견한 것이다.
데이터스톰은 이런 문제를 해결하기 위해 `데이터스톰` 엔진을 자체 개발했다. 대용량 로그를 실시간 검색하기 위해서는 고속의 색인(index) 작업이 선결돼야 한다는 점에 초점을 맞췄다. 지금은 1기가바이트(GB)를 1분에 색인하는 데 근접했다. 외산 솔루션과 비교할 수 없을 만큼 빠른 속도다.
소셜 네트워크 분석이 빅데이터의 전부인 것처럼 오래되는 분위기에서 데이터스톰은 감당할 수 없는 로그를 생성하는 분야에 집중한다. 그 대표적인 것이 보안·네트워크 분야로 방화벽 로그, 네트워크 처리에 집중했다. 지난해 말 인터넷백본 서비스 기업이 사용하는 수만대 스위치의 실시간 이상 징후를 발견하는 솔루션을 개발했다.
데이터스톰은 올해를 빅데이터가 더 이상 거대담론이 아니라 프로젝트로 구체화되는 시기로 생각한다. 외산 경쟁제품과 차별화를 위해 색인과 검색 속도 향상에 초점을 맞추고 고객별 맞춤 프로젝트를 진행할 계획이다. 국산 빅데이터 처리 솔루션으로 고객 요구를 최대한 반영할 수 있는 장점을 널리 알린다는 방침이다.
고익진 데이터스톰 대표는 “빅데이터는 비즈니스 인텔리전스(BI) 분야에서 출발점을 찾는 접근방식에서 탈피할 필요가 있다”고 말했다. 전산환경 운영단에서 발생하지만 처리할 수 없는 데이터가 현실적으로 손에 잡힐 수 있는 빅데이터 영역이라는 설명이다. 이런 영역은 모든 고객사에 존재하고 현재도 검색작업이 수작업으로 진행되거나 아예 엄두를 못 내고 있다.
고 대표는 “수개월씩 걸리는 보안로그 분석, 생산라인의 불량원인 파악, 전산장애 원인과 구간분석이 대표적인 사례”라며 “데이터스톰 빅데이터 엔진으로 이런 문제를 해결해 고객에 실질적인 가치를 제공하겠다”고 말했다.
안호천기자 hcan@etnews.com