[기고] 사물인터넷 시대, 데이터 처리 플랫폼이 갖춰야 할 조건

김점배 맵알코리아 지사장.
김점배 맵알코리아 지사장.

경제협력개발기구(OECD)는 지난 7월 ‘2015 OECD 디지털 경제 전망’을 발표했다. 2022년 OECD 국가 한 가정에 평균 약 50대 사물인터넷(IoT) 기기가 있을 것으로 전망했다. 보고서에서 주목할 점은 한국이다. OECD 국가 중 인구 100명 당 사물인터넷 기기가 가장 많은 국가로 조사됐다. 우리나라 사물인터넷 기기 도입 규모 및 속도는 현재도 세계 최고 수준이다. OECD 보고서는 앞으로도 우리나라 여러 분야에 사물인터넷이 활발히 도입될 것임을 보여준다. 사물인터넷은 그 자체보다 더 중요하게 활용할 수 있는 것이 있다. 사물인터넷에서 얻는 방대한 ‘데이터’다. 모든 사람과 사물을 끊임없이 연결함으로써 발생하는 무궁한 데이터는 실시간으로 분석, 가치 있는 정보로 활용할 때 사물인터넷 가능성을 무한대로 확장시킨다. 이를 위해 데이터를 빠르게 분석하고 처리할 수 있는 툴이 필요하다. 툴 없어 데이터를 파악하고 적절히 활용하지 못한다면 아무리 놀라운 사물인터넷 프로젝트와 애플리케이션을 도입해도 소용이 없다.

사물인터넷 데이터는 다음과 같은 필수 사항이 필요하다. 먼저 서로 연결된 기기가 생성하는 데이터 양은 거대하다. ‘빅데이터’식 처리 접근법이 필요하다. 현재 세계에서 약 500억대 기기가 끊임없이 데이터를 생산한다. 어떤 통찰(인사이트)을 얻고 추세(트렌드)를 파악하기 위해서는 데이터가 모두 저장 및 분석돼야 한다. 따라서 사물인터넷 처리 플랫폼은 수 백만, 수 십억, 또는 수 조개에 이르는 방대한 데이터 파일을 효율적으로 관리할 수 있다.

사물인터넷에 사용하는 플랫폼은 실시간 데이터 처리가 가능해야 한다. 현재 플랫폼처럼 단순히 정보를 데이터 스토리지에 저장하고 며칠 후에 다시 보고하는 것으로는 더 이상 유용한 정보를 얻어낼 수 없다. 중요한 정보를 효과적으로 판단하고 활용하기 위해서는 플랫폼에서 실시간으로 데이터를 처리할 수 있어야 한다.

뿐만 아니라 사물인터넷 데이터 처리 플랫폼은 유연해야 한다. 사물인터넷에서 생성하는 엄청난 양의 데이터 중에는 정형 데이터뿐 아니라 비정형 데이터도 있다. 따라서 데이터를 처리하고 저장하기 위해 데이터 형식에 상관없이 처리가 가능한 유연한 플랫폼이 필요하다. 반정형 데이터의 저지연(Low Latency) 쿼리를 처리할 수 있게 스트림(stream) 프로세싱을 지원해야 한다. 현재 사물인터넷 환경 문제점은 널리 활용하는 표준 아키텍처가 없다는 것이다. 데이터 처리 플랫폼은 한 플랫폼에 여러 개 프로세싱 모드를 결합, 다양한 포맷을 다뤄야 한다. 프라이버시와 보안과 같은 추가 기능도 지원해야 한다. 암호화뿐 아니라 데이터 마스킹부터 출처(provenance) 지원에 이르기까지 사용자 개인정보 보호는 필수적이다. 단순 데이터 수집은 솔루션이 제공하는 기능의 일부분일 뿐이다. 통합 데이터베이스로 실시간 이벤트와 기존 데이터 사이에서 통찰력 있는 예측 분석을 창출해야 한다. 사물인터넷으로 생성하는 데이터 양은 폭발적으로 증가할 것이다. 이제 데이터는 사물인터넷 결과물로서만 다뤄질 것이 아니다. 전략의 중심이 돼야 한다. 그리고 분석하고 처리하는 플랫폼을 선택하는 것은 어떠한 사물인터넷 프로젝트에서도 전략적으로 가장 우선적으로 다뤄야 한다.

김점배 맵알테크놀러지스코리아 지사장 dkim@maprtech.com