대구경북과학기술원(DGIST·총장 국양)이 빅데이터를 기존보다 14배 빠르게 분석할 수 있는 기술을 개발했다. 기계학습 또는 대규모 데이터 분석이 필요한 분야에 큰 도움이 될 전망이다.
DGIST는 김민수 정보통신융합전공 교수팀이 기존 기술보다 최대 14배 빠르고, 100배 많은 데이터를 처리할 수 있는 'DistME(Distributed Matrix Engine) 기술'을 개발했다고 4일 밝혔다.
김 교수팀은 기존과 다른 행렬 곱셈 연산법을 고안했다. 'CuboidMM'이라 불리는 연산법은 정보를 3차원 정육면체로 구성해 처리한다. 기존 곱셈 연산법은 유동적인 적용이 불가능했지만, 이 방식은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다. 여기에다 GPU를 결합해 정보를 처리하는 법을 고안, 곱셈 연산 성능을 크게 향상시켰다.
'DistME' 기술은 'ScaLAPACK'과 'SystemML'보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다. 향후 온라인 쇼핑몰, SNS 등 대규모 데이터 처리가 필요한 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열었다.
김민수 교수는 “최근 세계적으로 각광받는 기계학습 기술은 행렬형태의 빅데이터 분석 속도와 분석 처리 규모면에서 한계가 있었다”며 “이번에 개발한 정보처리 기술은 기계학습뿐만 아니라 광범위한 과학기술 데이터 분석 응용에 유용하게 활용될 것으로 기대된다”고 말했다.
대구=정재훈기자 jhoon@etnews.com
