[대한민국 희망 프로젝트]<589>빅데이터

ⓒ게티이미지

4차 산업혁명 시대 주목받은 정보기술(IT) 분야가 빅데이터입니다. 빅데이터는 말 그대로 방대한(빅·BIG) 양의 데이터를 의미합니다. 빅데이터는 4차 산업혁명 시대 또 다른 기술 축인 인공지능(AI)과 함께 대표 기술로 꼽힙니다. 빅데이터 분석 없이는 AI 구현이 어렵습니다. AI스피커, 자율주행차 등 다양한 분야에 빅데이터와 AI가 결합돼 활용됩니다. 빅데이터가 각광받으면서 관련 인력에 대한 관심도 높아지고 있습니다. 빅데이터가 어떤 개념이고 AI 등과 엮여 어떻게 세상을 바꿀지 살펴보겠습니다.

Q:빅데이터란 무엇인가요.

A:빅데이터는 기존 방법으로 수집·분석이 어려운 규모의 데이터를 의미합니다. 1분 동안 구글에서는 200만건 검색이 새롭게 생성됩니다. 단순 텍스트만 쌓이는 것도 아닙니다. 유튜브에서는 1분 동안 72시간 분량에 달하는 비디오가 새롭게 만들어지고 트위터에서는 27만건 트윗이 생성됩니다. 데이터 홍수의 시대입니다. 빅데이터는 검색 사이트, 동영상, 소셜네트워크서비스(SNS) 등에서 쏟아지는 방대한 양의 데이터를 수집하고 저장, 분석하는 개념입니다.

과거에 데이터가 없었던 것은 아닙니다. 다만 과거 데이터는 지금보다 그 규모가 작았습니다. 한 연구 보고서에 따르면 세계적으로 2012년 한 해 동안 생성된 데이터 양은 2.8제타바이트를 기록했습니다. 이는 이전까지 생성된 데이터 양을 모두 합한 것보다 많습니다. 모바일과 사물인터넷(IoT) 시대가 열리면서 다양한 곳에서 데이터가 폭발적으로 증가했습니다.

과거에는 방대한 양의 데이터를 수집, 분석하는 기술력도 부족했습니다. 2000년대 중반 이후 빅데이터를 수집, 분석하는 기술력이 고도화되면서 수집, 저장, 분석이 본격화됐습니다.

Q:빅데이터와 AI는 어떤 관계인가요.

A:빅데이터와 함께 주목받는 기술이 AI입니다. AI는 빅데이터 등장으로 새로운 국면을 맞이했습니다. AI는 방대한 양의 빅데이터 습득과 학습, 분석으로 진일보 중입니다. AI는 방대한 빅데이터 속에서 의미를 찾고 해결책을 제시합니다. 이미 빅데이터와 AI가 만나 다양한 서비스가 새롭게 등장했습니다. 구글 독감예보 서비스가 대표적입니다. 독감, 인플루엔자 등 독감 관련 검색어 쿼리(빅데이터) 빈도를 조사해 '구글 독감 동향' 이라는 독감 확산 조치 경보 체계를 마련했습니다. 미국 보건당국보다 한 발 앞서 시간과 지역별 독감 유행정보를 제공했습니다. AI 대표 서비스로 꼽히는 IBM '왓슨'도 마찬가지 입니다. 왓슨은 방대한 양의 데이터를 기반으로 스스로 학습하고 상황을 분석, 예측합니다. 빅데이터 분석 없이는 모두 불가능한 서비스입니다.

GettyImage

Q:빅데이터는 세상을 어떻게 바꾸고 있나요.

A:빅데이터와 AI가 결합해 다양한 상황을 분석하고 예측, 대응합니다. 이탈리아 밀라노는 교통 흐름에 영향을 주는 다양한 데이터를 종합 분석해 최적 교통 안내 서비스를 안내합니다. 데이터 수집을 위해 도로 곳곳에 900여개 센서를 부착했습니다. 5분에서 15분 간격으로 수집된 센서 데이터를 분석해 향후 교통 정보를 정확히 예측합니다.

여러분이 여행 때 많이 이용하는 자동번역 애플리케이션도 빅데이터와 AI가 접목된 대표 사례입니다. AI가 다양한 언어 빅데이터를 학습, 분석해 실시간 자동으로 번역 서비스를 제공합니다.

최근 가정에서 많이 이용하는 AI 스피커도 빅데이터가 접목됐습니다. 각종 날씨와 생활정보 등을 인터넷에 존재하는 방대한 데이터 속에서 찾아내 알려줍니다.

2∼3년 내에 거리에서 마주할 무인자동차도 마찬가지입니다. 무인자동차 센서에서 쏟아지는 방대한 빅데이터를 AI가 실시간으로 분석해 자동차 운전 상황을 제어합니다. 빅데이터와 AI가 없었다면 마주하지 못할 모습입니다.

Q:빅데이터 관련 일자리도 많이 있나요.

A:빅데이터가 산업 곳곳에 접목되면서 관련 일자리도 주목받습니다. 대표적 일자리가 데이터과학자 또는 데이터 사이언티스트입니다. 기존에도 데이터를 다루는 데이터 관리자, 데이터 분석가 등 직종이 있었습니다. 데이터 사이언티스트는 데이터를 단순히 분석하는 수준을 넘어 데이터 속에서 가치를 찾아 제시하는 역할을 담당합니다. 미국 경제 월간지 하버드 비즈니스 리뷰는 21세기 가장 유망한 직업으로 데이터 사이언티스트를 꼽았습니다. 미국 경제 잡지 포브스도 미래 최고 직업 2위로 데이터 사이언티스트를 선정할 만큼 데이터 사이언티스트는 유망 직종으로 꼽힙니다. 데이터 분석 외에도 빅데이터 관련 기술 개발과 서비스 직종도 다양합니다.

빅데이터 기술 발전과 시장 확대로 일자리 수요가 급증하지만 관련 인력은 부족합니다. 한 조사기관이 금융, 공공 등 38개 기업과 단체를 대상으로 설문조사한 결과 응답자 60%가 빅데이터 관련 인력을 구하기 매우 어렵다고 답했습니다.

빅데이터 인력 부족 현상은 국내뿐 아니라 해외에서도 비슷합니다. 미국에서는 올해 14만명 정도 데이터 사이언티스트와 150명가량 데이터 관리자나 분석 인력이 필요하다고 합니다. IT기업 EMC도 향후 5년간 빅데이터 관련 인력 수요가 공급을 뛰어 넘을 것으로 예상합니다. 앞으로 많은 기업과 정부가 빅데이터 전문 인력 찾기에 나설 것으로 보입니다. 빅데이터 분야에 관심 있다면 미리 준비해 도전해보는 것도 좋습니다.

주최: 전자신문 후원:교육부·한국교육학술정보원

[책소개]

◇아무도 알려주지 않은 4차 산업혁명 이야기, 강명구 지음, 키출판사 펴냄

4차 산업혁명이 태동한 배경부터 지향하는 변화 방향성, 4차 산업혁명을 구현할 기반 기술, 기술로 인해 달라질 삶의 모습까지 담았다. 빅데이터와 인공지능, 블록체인까지 주요 기술이 어떻게 4차 산업혁명을 이끄는지 개념과 사례를 정리했다. 4차 산업혁명 선도하는 국가가 어떻게 이들 기술을 적용하고 미래 비전을 만드는지 전달해 세계 흐름도 이해하기 쉽다.

◇데이터 분석의 힘, 이토 고이치로 지음, 인플루엔셜 펴냄

미국 시카고대 해리스스쿨(공공정책대학원) 경제학자 이토 고이치로 교수가 최신 데이터 분석 이론을 수식 없이 쉽게 풀어낸 결과물이다. 실증 데이터 분석과 정책 평가로 데이터 분석 이론과 응용에 관한 제일선 경제학자로 꼽힌다. 빅데이터 시대를 위한 데이터 분석 입문서로 꼽힌다. 듣기만 해도 어려운 데이터 분석 이론을 흥미로운 사례와 함께 설명해 전문가가 아니어도 쉽게 이해하도록 정리했다.

김지선 SW 전문기자 river@etnews.com