빅데이터 처리의 가장 큰 목적은 21세기 원유라 불리는 방대하고도 시간성 있는 데이터를 분석해 유용한 정보를 정확히 추출함으로써 사회적 난제를 해결하거나 비즈니스 차원의 가치를 창출하기 위함이다.
빅데이터가 큰 화두가 된지 수년이 흘렀지만 2010년 1.2제타바이트에서 2020년 35제타바이트로 예측되는 데이터 폭증과 2020년 7조 개로 예상되는 실생활 속 사물인터넷(IoT)디바이스로부터 끊임없이 발생하는 데이터 형태 다양성과 실시간성을 어떻게 수용하느냐 하는 것은 여전히 큰 관심사가 아닐 수 없다. 이 부분이 빅데이터 기술 경쟁력 핵심으로 지목되고 있다.
최근, 미래부는 빅데이터 잠재력과 가능성을 인지하고 기술 경쟁력 강화를 도모하고자 이를 K-ICT 9대 전략산업과 국가 13대 미래성장동력 기반기술 중 하나로 선정하고, 보다 빠르고 예지적 판단이 가능한 세계최고 기술 확보를 위한 고도화 계획을 수립했다.
이에는 2020년 3대 핵심 제품 및 서비스로서 고성능 빅데이터 플랫폼, 예측형 분석기반 의사결정 시스템 그리고 국가 수요 대응형 빅데이터 활용 서비스를 집중적으로 개발한다는 계획이 담겨 있다.
고성능 빅데이터 플랫폼은 빅데이터를 수집하고 이를 처리 및 저장·관리하기 위한 기반 플랫폼으로서 빅데이터 산업 근간이 되는 기술이라 할 수 있다. 가장 중요한 특성은 대규모 데이터를 빠른 시간에 처리할 수 있는 성능을 갖추는 것이다.
GPGPU, 매니코어 등 병렬처리기술 활용, 40~100Gbps급 IO 가속기를 활용한 입출력 성능 향상 개발, 차세대 메모리 활용 기술 개발 등이 포함돼 연구가 진행되고 있다.
실제 해외 하둡과 같이 오픈소스를 기반으로 하는 빅데이터 플랫폼들이 이전 기술로는 수용 불가능한 대규모 데이터를 처리한다는 관점에서 큰 반향을 몰고 왔지만, 성능에 대한 시장 요구 사항은 언제나 기술 개발 속도를 앞서가고 있다.
이러한 현실을 감안할 때, 기존 빅데이터 플랫폼의 성능 한계를 획기적으로 극복하는 고성능 빅데이터 플랫폼 기술 확보는 해외 기술 대비 부족한 국내 빅데이터 기술 경쟁력 열세를 극복하기 위한 시급한 과제이다.
예측형 분석기반 의사결정 시스템은 기존 분석이 과거 분석, 즉 발생 사안에 대한 원인 파악 또는 현상의 숨겨진 의미 도출 등 과거 시점 분석에서 벗어나 새로운 모델링 기법 및 해석을 통해 미래를 예측하고, 나아가 그 대응 방안까지 지시해 주는 지능적 시스템이다.
이를 위해 대규모 모델링〃시뮬레이션, 분산처리 기반 대규모 복합형 기계학습 등 복합 상황 분석과 예측에 의한 판단 및 지시 기술 개발 등 인간의 지적 한계를 뛰어 넘는 핵심기술을 개발해 사회와 기업운영 예측성과 안정성을 도모하도록 하자는 것이다.
마지막으로 국가 수요 대응형 빅데이터 활용 서비스는 앞서 언급한 핵심 기술을 기반으로 실제 국가 차원에서 활용이 가능한 분야에 직접 적용함으로써 빅데이터의 실질적 활용 가치를 구현함과 더불어 시장 창출의 직접적인 효과를 주는 분야이다.
국가 차원 빅데이터 활용 가능 분야로는 의료·건강, 소비·거래, 교통·물류, 에너지, 재난안전 분야 등을 들 수 있다.
한편, 이러한 연구개발 계획과 더불어 교통〃주차〃에너지 등 시민 체감형 도시문제 해결 서비스 시범사업 추진, 정부3.0과 연계해 개인정보 등의 문제가 없는 핵심 공공 DB 제공, 중소벤처나 1인창업 등 희망하는 누구나 저렴한 비용으로 빅데이터 분석을 이용할 수 있는 빅데이터 분석활용센터 지속 확대 등 다양한 촉진책이 동반될 예정이다.
아직까지 우리나라 빅데이터 기술경쟁력과 활용 능력은 미국, 일본, EU수준에 미치지 못한 것으로 나타났다.
이번 K-ICT 전략의 차질없는 이행을 통해 세계최고 핵심기술 확보와 기술 외적 촉진 방안을 유기적으로 연계함으로써 명실상부한 빅데이터 3대 강국으로 도약에 성공할 수 있기를 기대한다.
김두현 정보통신기술진흥센터(IITP) 기반SW·컴퓨팅 CP doohyun@iitp.kr