[ET단상]빅데이터, 최신 기술 도입보다 정확한 진단이 필요하다

포뮬러원(F1)은 세계자동차연맹(FIA)에서 규정한 차체, 엔진, 타이어 등의 조건을 충족하는 자동차가 펼치는 경주다. 올림픽, 월드컵과 함께 세계 3대 스포츠 이벤트로 인정받고 있다.

FI 출전 자동차는 최고 속도 300㎞ 이상을 견딜 수 있어야 한다. 1시간이 넘는 경주 시간 동안 지구력과 테크닉을 겸비한 드라이버가 역량을 발휘해야만 승리한다. 이 밖에 미케닉 능력치와 스텝 가이드도 중요한 영향을 미친다. 더 중요한 것은 날씨에 따라 달라지는 타이어다. 경기력을 극대화할 수 있는 요소다.

비가 내리는 날에는 홈이 파여서 수막 현상을 없애 주는 웨트 타이어, 건조하고 화창한 날에는 홈이 없어 접지력을 높여 주는 드라이 타이어, 노면이 습기가 많고 미끄러운 날에는 중간 역할을 해 주는 인터미디에이트 타이어를 각각 사용한다.

상황에 맞는 도구를 사용하는 F1 경기처럼 빅데이터 도입을 고려하는 기업도 같은 전략을 선택해야 한다. 자동차 경주도 엄청난 규모의 복잡성을 나타내고 있지만 비즈니스 분야와 비교할 수 없다. 빅데이터는 완성된 자동차가 아니라 튜닝이 안 된 기본 프레임만 있는 툴로 바라봐야 한다.

빅데이터 도입을 계획하는 고객과의 첫 만남 때 많이 듣는 얘기는 `우리 회사에 어떤 기술을 적용할 수 있느냐` 하는 질문이다. 물론 고객도 많은 고민과 분석으로 솔루션 도입을 검토했겠지만 현실상 어떤 목적으로, 어떤 용도로 솔루션을 적용해야 할지 정의를 내리지 못하는 경우가 많다.

빅데이터라는 솔루션 구축으로 수많은 내외부 데이터 가운데 `어떤 것을 볼 것이냐`는 중요하다. 예를 들어 자동차 타이어는 경주용 외 사계절, 스터드, 머드, 오프로드, 고속주행, 런플렛 등 주행 용도에 따라 종류가 다양하게 나뉜다.

빅데이터도 오래 쌓인 대용량 데이터에서 원하는 내용을 분석할 때는 하둡, 실시간 빅데이터를 신속하게 분석해 비즈니스에 활용하는 목적이라면 인메모리 기술로 각각 구현하는 것이 효율이 있다. 하둡은 결국 분산 환경을 의미하는 것이다. 다수 서버로 시스템을 구성하는 등 많은 인프라가 필요하다.

시스템을 구축할 때 상항에 맞게 분산 처리인지, 인메모리 기반인지, 두 가지 방식을 상호보완해 구성하는지를 선택해야 한다. 다시 말하면 `어떤 기술을 사용해야 하느냐`가 아니라 `어떤 결과물을 볼 것이냐`에서 출발해야 한다는 뜻이다.

빅데이터는 정형·비정형 데이터를 추출하는 하둡 모델에서 실시간 데이터를 활용하는 분야로 확대된다. 빠른 시간 안에 인간의 뇌를 토대로 구현된 기계학습 기법 `딥러닝`으로 발전될 전망이다. 금융 분야에서 이상금융거래탐지시스템(FDS)처럼 실시간 발생하는 비정상 거래를 탐지하는 인메모리 기반의 맞춤형 솔루션이 진화한다.

솔루션 구축 시 가장 중요한 것은 최신 기술이 아니라 최적 솔루션이다. 고객과 만날 때 기술이나 트렌드보다 정확한 콘텐츠 파악에 심혈을 기울인다. 업계에서는 흔히 자고 일어나면 빅데이터 기술이 하나씩 생겨난다는 말을 한다. 그만큼 기술 진화 속도를 체감한다는 의미다.

데이터가 샘물처럼 넘쳐나는 시대에서 남보다 빠르다는 것은 큰 의미가 없다. 얼마나 정확하게 스스로를 진단하고 어떤 방법으로 도구를 활용할지 치밀한 고민이 전제돼야 한다.

박준형 앤서 대표 jh@ianswer.co.kr