관련 통계자료 다운로드 인터넷분산컴퓨팅환경
@Home 프로젝트라 불리는 인터넷기반 분산 컴퓨팅은 대량의 정보처리가 요구되는 바이오, 기상, 천문학 등의 분야에서 대용량의 컴퓨팅 파워를 인터넷을 통해 저렴하게 얻어보고자 하는 시도로서 등장하게 되었다. 이 글에서는 인터넷기반 분산 컴퓨팅의 개념과 관련 기술, 국내외 동향 및 향후 전망에 대해서 살펴본다.
◇병렬 및 분산 컴퓨팅=일반적으로 생각할 수 있듯이 어떤 일들을 처리하는데 보다 높은 효율을 얻고자 한다면 보다 열심히 일하거나 보다 똑똑하게 일하거나 누군가의 도움을 얻으면 된다. 컴퓨터의 수행에서도 마찬가지로 보다 빠른 하드웨어를 사용하거나 보다 효율적인 처리방식을 사용하거나 여러 장치들이 서로 도와 동시에 일을 수행하면 훨씬 빨리 일을 마칠 수 있을 것이다.
단순하게 생각하여 컴퓨터에 중앙처리장치(CPU)를 여러 개 두어 여러 연산을 동시에 수행시키면 보다 빠른 처리가 가능할 것이다. 하지만 좀더 생각해 보면 각 연산들간에 순서관계나 종속관계가 존재한다면 무작정 동시에 수행할 수도 없는 노릇이다. 이러한 연산과 데이터 처리를 병렬화하는 시도로서 병렬(parallel) 또는 분산(distributed) 컴퓨팅의 개념이 등장했다.
병렬 컴퓨팅과 분산 컴퓨팅을 명확하게 구분하는 것이 쉽지 않지만 대개 하나의 기계장치로 구성되어 같은 종류의 프로세서와 운용체계를 사용하며 메모리를 공유하는 방식을 병렬 컴퓨팅이라 하고, 비교적 낮은 대역폭의 네트워크로 서로 연결되어 각자 다른 종류의 프로세서와 운용체계를 사용하여 독립적으로 운영되면서 메시지 전달을 통해 수행되는 방식을 분산 컴퓨팅이라고 한다.
병렬 컴퓨팅과 분산 컴퓨팅은 이미 오래 전부터 연구되어 왔으며, 네트워크 기술의 발달로 인하여 보편적인 프로세서, 네트워크 장비, 저장장치들로 구성되어 가격 대 성능비 면에서 기존의 대형 컴퓨터 시스템에 비해 우수하고 확장성이 뛰어난 클러스터 컴퓨터들도 어렵지 않게 구축할 수 있게 되었다.
◇인터넷기반 분산 컴퓨팅=일정 수준의 컴퓨팅 능력을 가진 일반 사용자의 컴퓨팅 자원에 초점을 맞추어 근래 각광을 받고 있는 것이 인터넷기반 분산 컴퓨팅이다.
SETI@Home으로 널리 알려진 프로젝트는 우주로부터의 복사 전파에 숨어있는 이성적인 무선전파를 파악하여 외계 지성체의 존재를 찾아내려는 것이다. 이 프로젝트는 수백만의 자원자들이 SETI@Home의 화면보호기를 각자의 PC에 내려받고 서버로부터 일을 받아 처리한 후 그 결과를 버클리대학교에 보낸다.
현재 우리나라의 초고속 정보통신인프라 구축 현황과 인터넷 이용률은 세계 최상위권에 속한다. 하지만 인터넷에 연결된 PC의 이용형태를 분석해 보면 대부분 문서작성, 웹서핑 또는 게임 등에 이용하는 경우가 대부분으로 CPU의 성능과 메모리 용량은 기하급수적으로 증가하는 반면, 실제 CPU의 이용률과 메모리의 사용률은 낮다는 분석이 나오고 있다. 이러한 CPU의 유휴시간(idle time)을 활용한다면 저비용·고효율의 대용량 컴퓨팅 환경을 구현할 수 있다.
컴퓨팅 파워를 활용하는 인터넷기반 분산 컴퓨팅 환경을 간단하게 도식화하면 <그림 1>과 같다. 이 그림과 같이 저장장치, 계산장치 등을 포함한 여러 자원들을 서로 공유되고 연결되어 마치 하나의 시스템을 활용하듯이 환경이 구축된다.
◇해결해야 할 여러가지 이슈=인터넷기반 분산 컴퓨팅의 밑바탕에는 수많은 유휴자원들을 이용하자는 의도가 있기 때문에 우선적으로는 그러한 자원들을 어떻게 모을 것인지가 큰 해결 과제다. 뿐만 아니라 기술적으로도 해결해야 할 여러 이슈들이 존재한다.
△시스템의 동적 구성:성능, 운용체계, 네트워크 속도 등이 서로 다른 수천만 이상의 자원들을 동적으로 관리하는 기능
△명명법(naming):인터넷에 흩어져 있는 자원들을 고유하게 지칭하여 이용할 수 있는 방법
△보안:자원 제공자 입장에서 보안에 대한 신뢰 확보
△확장성(scalability):가용한 자원들이 많아질수록 그만큼의 성능 향상 효과의 유지
△자원관리:각 자원의 자율성을 해치지 않는 범위에서 시스템의 고효율과 고성능을 위한 모니터링
△애플리케이션:환경, 생물, 물리 등의 응용 분야별로 적합성을 찾아내는 연구가 필요
△표준화:상호호환성 유지를 위한 세계적 표준 동향에 충실
이같은 이슈들이 풀어야할 숙제다.
◇동향 및 향후 전망=해외의 @Home 프로젝트 동향을 살펴보면 미국을 중심으로 영국, 독일 등 유럽에서도 많은 관심을 갖고 바이오 분야, 기상, 인공지능, 수학, 암호학 등 다양한 응용분야와 제약, 생명공학, 금융 서비스 등의 실용업종에서 프로젝트가 수행되고 있다. 표 참조
인터넷기반 분산 컴퓨팅방식이 실제 현실에 적용되고 있는 경우는 고효율 가상탐색을 위한 과제로서 미국 유나이티드 디바이세스(United Devices)사에서 100만종의 후보물질 데이터베이스에서 약 65억개의 가상 화학분자 데이터베이스를 생성하고, 이를 암관련 타깃 단백질과 도킹 시뮬레이션을 시행해 약 2만∼3만개 정도의 후보물질을 도출하는데 성공했다.
국내에서도 앞선 초고속인터넷을 적극 활용하고자 정보통신부의 지원하에 한국과학기술정보연구원(KISTI)의 슈퍼컴퓨팅센터를 중심으로 인터넷기반 분산컴퓨팅환경 구축사업인 Korea@Home 프로젝트(http://www.KOREAatHOME.org)가 2002년 시범적으로 시작됐다.
이제 시작에 불과하지만 Korea@Home 프로젝트에 3만명의 자원제공자가 동시에 참여할 경우(펜티엄Ⅲ 500㎒ 기준), 이론적 계산으로 ASCI 화이트 슈퍼컴퓨터와 동등한 성능인 12.7테라플롭스만큼의 성능을 얻을 수 있으며 컴퓨팅파워 대체에 따른 연구비 절감 효과가 상당할 것으로 기대된다.
물론 슈퍼컴퓨터에서 동작하는 다양한 응용을 모두 Korea@Home 프로젝트로 대체할 수는 없으며, @Home 프로젝트에 적합한 응용을 발굴하는 것이 매우 중요하다. 또한 자원제공자인 대다수 국민들이 호응할 수 있는 공공 성격의 응용을 발굴해 관련 산업의 활성화를 유도하는 것도 프로젝트의 성공적인 수행을 위해 중요한 요소다.
지난해에는 Korea@Home 프로젝트의 시범사업으로 단백질 상호작용을 분석하여 질병과 연관된 타깃 단백질을 찾아내고, 선정된 타깃 단백질을 상호작용 시뮬레이션에 적용하여 화합물 정보의 구축을 목표로 하는 신약후보물질 탐색 연구가 진행되었다.
현재 우리나라는 이미 선도적인 초고속인터넷망과 높은 PC 보급률 등으로 훌륭한 IT 인프라를 갖추고 있어 인터넷기반 분산 컴퓨팅 환경을 구축하는데 막대한 초기 자금이 필요하지 않는다. 따라서 앞선 인프라를 바탕으로 각 개인의 PC자원을 활용한다면 막대한 경제적 이득효과를 얻을 수 있으리라 예상한다.
한편, 무엇보다 중요한 것은 네티즌들의 자발적인 참여다. 현재는 대다수의 인터넷 사용자들이 이러한 프로젝트가 존재하는지조차 모른 채 유휴 PC자원을 낭비하고 있으며, 관심있는 국내의 인터넷 사용자들조차 자신의 PC자원을 외국에서 수행되는 @Home 프로젝트에 참여하고 있다. 따라서 국내에서 처음으로 시작되는 Korea@Home 프로젝트에 네티즌들의 많은 관심과 참여를 기대해 본다.
향후 Korea@home 프로젝트는 다양한 응용분야로 확대 적용할 예정이다. 정보통신부는 2006년까지 인터넷기반 분산 컴퓨팅 관련 연구와 사업을 추진할 계획을 수립하고, 이를 위해 신규 연구, 응용과제를 발굴하고 지속적인 활동을 수행할 것이다.
국내에서는 처음으로 시작되는 Korea@home 프로젝트는 초고속정보통신 네트워크의 활용도를 한층 더 높이고 인터넷기반 분산컴퓨팅 연구환경을 제공하여 기초과학과 첨단산업의 연구개발이 가속화될 것으로 기대된다.
이를 위해 올해 개발하고 있는 P2P 기술 등 관련 분산 컴퓨팅 소프트웨어를 국내의 희망업체에 기술 이전하여 상업화가 가능한 부분은 즉각 상업화할 수 있도록 도와주고, 현재 정보통신부에서 추진하고 있는 연구결과물이 자연스럽게 인터넷기반 분산 컴퓨팅으로 기술이 이전, 파급되어 정부가 역점을 두고 추진하고 있는 첨단산업의 육성 및 활성화에 Korea@home 프로젝트가 큰 기여를 할 것으로 본다. his@hpcnet.ne.kr
*황일선
<약력>
△85년 한국과학기술연구원 전산운영팀 근무 △96년 시스템공학연구소 초고속연구망운영실장 △98년 전자통신연구원 초고속정보망 실장 △2001년 성균관대 정보공학석사 △현재 한국과학기술정보연구원 슈퍼컴퓨팅센터 초고속연구망사업실장