빅데이터 분석 및 처리속도가 기존 시스템보다 300배 이상 빠른 기술이 개발됐다.
김민수 대구경북과학기술원(DGIST) 정보통신융합공학전공 교수팀은 복잡한 형태의 빅데이터를 그래픽처리장치(GPU)를 기반으로 초고속으로 분석할 수 있는 기술 ‘지스트림(GStream)’을 개발했다고 11일 밝혔다.
연구팀이 개발한 지스트림은 웹과 소셜네트워크, 생명과학, 뇌과학 등 다양한 분야에서 사용되는 그래프 형태의 빅데이터를 두 개의 GPU가 장착된 PC 한 대를 이용해 초당 14억개의 간선들을 분석할 수 있는 기술이다.
이 기술은 현재 세계에서 가장 빠른 성능을 보여 학계의 주목을 받고 있다.
지금까지 개발된 빅데이터 분석의 대표적 기술은 미국 카네기멜론대학의 ‘그래프랩(GraphLab)’이다. 64개의 고성능 서버와 10G 고속네트워크로 구성된 5억원 규모의 대규모 분산시스템을 이용해 14억개의 간선들로 이뤄진 트위터 데이터를 3.6초 만에 분석할 수 있는 기술이다.
하지만 김 교수팀의 지스트림을 적용하면 GPU 두개가 장착된 500만원 상당의 컴퓨터 한 대로 1초 만에 분석할 수 있다. 비용 대비 성능측면에서 약 360배 이상 우수한 성능을 보였다.
GPU는 그동안 CPU에 비해 이론적으로 성능이 수십배 이상 뛰어나다고 알려져 왔지만, 수 기가바이트의 GPU로 수십 배 이상 더 큰 규모의 그래프와 같은 복잡한 데이터를 처리할 수 있는 기술 개발은 어려웠다.
김 교수팀은 그래프 데이터를 페이지 단위로 나누고 주 메모리로부터 GPU메모리로 비동기적 스트리밍을 하는 동시에 수천 개의 계산코어들을 분석하는 새로운 방식을 도입했다. 결국 GPU 메모리의 크기에 제한 없이 빅데이터를 고속으로 처리하는 방식을 개발하는 데 성공했다.
김민수 교수는 “사물인터넷 기술의 발전으로 앞으로 일상생활 속에서 복잡한 형태의 빅데이터가 사용될 때 소형 컴퓨팅 장치로 빅데이터를 분석하는 길을 열 수 있을 것”이라고 말했다.
한편 이번 연구 성과는 최근 열린 병렬 프로그래밍 분야 세계적 학술대회인 ‘ACM PPoPP 2015’에서 발표됐다.
대구=정재훈기자 jhoon@etnews.com
