관련 통계자료 다운로드 세계 50대 슈퍼컴퓨터 클러스터와 비클러스터 비율
21세기에 들어서면서 나타난 슈퍼컴퓨터 성능의 비약적인 향상에는 여러 가지 기술적 배경이 깔려 있다. 과거 주류를 이루던 반복산술연산에 특화된 ‘벡터’ 컴퓨터는 좁은 시장성과 이에 따른 고비용 및 안정성 검증, 특유의 구조를 구현하기 위한 프로세서 및 메모리 등 하드웨어의 성능에 대한 높은 의존성 문제 등이 부각됐다.
반면 IBM을 주축으로 중대형 컴퓨팅업체들이 내세우는 병렬처리기법(MPP:Massively Parallel Processing, 일반적인 CUP를 많이 사용하고 공유메모리를 사용하는 방법)이 발전하면서 벡터형 컴퓨터보다 저렴하고 확장성이 뛰어난 시스템을 구축할 수 있게 해줌으로써 MPP는 슈퍼컴퓨터의 전용물이던 벡터를 대체하는 기술로 부상하기 시작했다.
실제로 전세계 상위 500대 슈퍼컴퓨터의 유형별 분포를 보면 70, 80년대 시장에서 강세를 보이던 벡터형 슈퍼컴퓨터는 90년대 이후 병렬형 슈퍼컴퓨터에 밀려 점차 감소해 2002년 11월 기준으로 7.4% 수준에 그치고 있다(http://www.top500.org).
이처럼 전통적인 벡터형을 밀어내고 MPP기술이 주도하게 된 슈퍼컴퓨터시장은 그러나 대칭형멀티프로세싱(SMP:Symmetric Muli-Processing) 기반의 유닉스 상용서버로 대체됐으며 또다시 소형 SMP 시스템이나 아예 칩 기반의 클러스터가 주도하는 형태로 옮겨가고 있다.
2000년 미국의 세계 최고 ‘초고속-대용량 컴퓨터’ 개발 프로젝트인 ASCI(당시 컴팩 수주)에서는 세계 처음으로 작은 규모의 SMP 컴퓨터들을 많이 연결해 사용하는 방식을 채택했는데 각각의 SMP 컴퓨터는 이들이 이미 상용화한 컴퓨터고, 이들 SMP를 초고속 네트워크를 사용해 연결해 마치 이들이 하나의 컴퓨터처럼 작동하게 만든 것으로 이런 방식의 컴퓨터가 클러스터형 슈퍼컴퓨터다.
일반적으로 클러스터형 고성능 컴퓨터라 하면 베어울프(Beowulf) 방식을 의미한다. 이는 분산돼 있는 여러 PC를 네트워크로 연결해 빠른 계산 성능을 발휘하는 방식을 말한다. 90년대 말 베어울프 형태의 컴퓨터가 소개되면서 많은 사용자가 적은 예산으로 비교적 빠른 컴퓨터를 구축해 사용하고 있다. 물론 베어울프에서는 ‘가격 대비 속도’에 너무 치중해 안정성 면에서 단점도 지적받고 있다. 특히 100대 이상의 컴퓨터를 연결하는 대형 시스템 구축에서는 더욱 그렇다.
그러나 전문가들은 유닉스 또는 리눅스 기반의 클러스터 시스템이 연구용, 공공기관·기업 업무용으로 널리 확산되면서 저비용·고효율·고가용성의 병렬시스템을 선호할 것으로 전망하고 있으며 다양한 분야에서 MPI·오픈MP·병렬DB·병렬웹서버 등의 기법이 일반화되고 널리 보급되고 있기 때문에 앞으로도 이런 추세는 계속될 것으로 내다보고 있다.
특히 클러스터에서 중요한 프로세서의 성능과 균형을 이루는 ‘파일 입출력시스템’ 같은 세부기술에 대한 업체들의 투자와 기술 개발이 빠르게 진행되고 있는 데다 무엇보다 컴팩을 인수하면서 유닉스 진영에서 큰 역할을 차지하게 된 HP가 자체 PA-리스크 칩을 포기하는 대신 ‘아이테니엄 칩’으로 전략을 세우며 알파 클러스터 대신 ‘리눅스 아이테니엄 클러스터’를 슈퍼컴퓨터 전략으로 추진하고 있다는 점을 무시할 수 없게 됐다. 이 때문에 현재 클러스터 진영은 2000년 초기 선마이크로시스템스와 SGI가 주도한 것과 달리 현재는 HP가 최전선에 서 있는 셈이다.
■벡터진영 “아직 게임은 끝나지 않았다”
벡터형 컴퓨팅의 쇠락은 크레이라는 개별 기업의 역사와 결코 무관하지 않다. 크레이는 이 시장의 또다른 주자인 일본 NEC와 10년간 유지보수 계약을 맺고 있는 벡터형 진영의 대표주자다.
지난 96년 SGI(옛 실리콘그래픽스)는 기계설계나 자동차 엔지니어 분야 등에서 특화시장을 형성하고 있던 벡터 슈퍼컴퓨터를 만드는 데 치중해온 크레이를 합병했지만 사업이 어려워지면서 벡터시스템에 대한 투자를 소홀히 한 것은 물론 크레이의 자산을 매각하기까지 했다. 지난 2000년 테라컴퓨터라는 회사가 크레이를 매입, 자사의 사명을 버리고 크레이를 선택해 중단된 벡터에 대한 투자에 다시 나섰지만 상황은 그리 좋지 않았다. 결국 지난 5년여 가까운 기간에 크레이의 이 같은 상황은 SMP 진영이 벡터 진영의 기술을 위협하는 세력으로 성장하는 것을 허용한 중대 실수로 이어진 셈이다.
실제 SMP 진영에서는 현재 12.8기가플롭스 수준의 최고 성능치를 보이고 있는 크레이시스템을 조만간 따라잡게 될 것으로 자신하고 있다. 리스크 칩은 칩당 성능이 98년만 해도 0.96기가플롭스 수준으로 당시 8기가플롭스 성능을 구현한 벡터에 비해 턱없이 뒤져 있었지만 오는 2004년 리스크나 아이테니엄 칩 모두 단일 칩 성능이 8기가플롭스를 구현하게 될 전망이다. 표참조
물론 이에 대한 크레이의 반론도 만만치 않다. 최근 크레이는 ‘벡터 슈퍼컴퓨터의 르네상스시대를 열겠다’는 각오를 다지며 반격을 준비하고 있다. 전통적인 벡터형에 대한 선호도는 낮아진 것이 틀림없지만 오랜 기간 노하우를 쌓아온 만큼 MPP 초병렬시스템과 PVP(Parallel Vector Processing) 병렬형 벡터시스템까지 세계 최고 수준의 기술을 재현할 수 있다는 주장이다.
크레이는 지난해 연말 차세대 슈퍼컴퓨터인 ‘크레이 X1’ 슈퍼컴퓨터 시스템을 출시했으며 이미 수주계약된 1억달러 상당의 미 정부기관과 ORNL(department of energy`s Oak Ridge National Laboratory) 외에 스페인 기상청 등지에 여러 대의 X1 수주와 설치를 끝냈음을 자랑하고 있다. 일부에서 제기하는 X1의 신뢰성과 성능에 대한 의심도 최근 NCSI/AHPCRC(Network Computing Services, Inc.,/the Army High Performance Computing Research Center)의 1차분 크레이 X1/32(409 Gflops) 시스템이 모든 고객 검수시험을 완벽하게 통과함으로써 불식됐다는 자체 평가를 내리고 있다.
또 크레이는 X1 시스템의 후속 기종인 ‘크레이 X1e’ 시스템에 이어 이미 진행 중인 ‘코드명 블랙윈도’로 제품 성능을 보강할 계획을 공식적으로 밝혔다. 이 제품은 획기적인 고성능 통신 네트워크를 갖춘 크레이 X1의 명령어세트구조(ISA)를 갖춘 호환기종으로 오는 2006년 초기 시스템은 이론치 최고 성능이 수백 테라플롭스(TF/s)에 이를 것이며 이후 2010년까지 2회에 걸친 향상 작업을 거쳐 수천 테라플롭스, 즉 페타플롭스 시스템을 개발할 예정이다.
특히 크레이가 초기 계약 단계에서부터 시선을 끌던 미 에너지부 센디아내셔널랩의 ‘레드스톰’ 프로젝트에 주목할 만하다. 이 프로젝트는 오는 2004년 설치 목표 40테라플롭스급의 AMD 옵테론 칩 기반 초병렬 시스템을 개발하는 것으로 여느 기술보다 약 48배가 빠른 특화된 ‘하이퍼트랜스포트 상호프로세서 연결기술’을 접목함으로써 차세대 크레이의 ‘초고성능 MPP’가 구현되는 첫 사례가 될 예정이다. 레드스톰은 현재 ASCI 레드 슈퍼컴퓨터보다 성능이 7배 이상 강력한 시스템으로 지금까지 다룰 수 없던 핵무기와 관련한 매우 복잡하고 중대한 과제들을 모델링하고 시뮬레이션하는 데 이용될 예정이다.
■세계 500대 슈퍼컴퓨터 리스트 분석
‘톱500 슈퍼컴퓨팅 사이트(http://www.top500.org)’ 리스트는 세계 최강의 성능을 가진 슈퍼컴퓨터 500대의 순위를 매긴 것으로 국가나 컴퓨팅사업자들의 슈퍼컴퓨터시장 우위 외에도 기술 트렌드를 알 수 있는 중요한 근거 자료로 사용되고 있다.
가장 최근 자료인 지난해 11월 발표된 톱500 리스트는 슈퍼컴퓨터 기술 트렌드가 SMP 방식의 절대적인 우위, 그리고 클러스터 슈퍼컴퓨터의 세확산 등으로 정리할 수 있다.
우선 클러스터 슈퍼컴퓨터 비율이 CPU 개수를 기준으로 40%까지 올라섰다는 점에 주목할 만하다. 사이트 수로는 18%, 린팩 기준으로는 30%를 넘어섰고 이 중에는 인텔·ADM나 리눅스업체 외에도 HP나 IBM의 성공 사이트도 다수 차지하고 있다. 표참조
특히 상위 10위 내의 시스템 중 6개 사이트는 4개 미만의 CPU를 장착한 시스템을 연결한 클러스터일 정도로 클러스터의 슈퍼컴퓨터 적용이 초강세를 띠고 있다. 리눅스네트웍스가 구축한 로렌스리버모어국립연구소의 클러스터 슈퍼컴퓨터가 5위를 차지한 것이나 HPTi의 미리넷(Myrinet)으로 구축된 포캐스트시스템스연구소의 클러스터 슈퍼컴퓨터가 8위를 차지하는 등 톱500 조사 사상 처음으로 2개의 CPU 기반 클러스터시스템이 10위권에 진입한 기록을 세웠다는 점이 눈길을 끈다.
프로세서 기반 클러스터 방식에서도 인텔 기반이 55대, AMD 기반이 8대로 나타나는 등 클러스터 슈퍼컴퓨터가 전체 93개로 지난 발표보다 크게 증가했으며, 사용자가 직접 디자인하고 조립한 클러스터 수도 14개에 이를 정도로 클러스터 슈퍼컴퓨터의 강세가 두드러졌다.
시장조사기관인 IDC는 2001년에서 2006년 사이 전체 HPTC시장이 10% 정도 성장하는 반면 HPTC 리눅스시장은 30% 성장할 것이라고 예측, 이 같은 전망이 결코 틀리지 않음을 방증하고 있다.
‘테라플롭스(1초에 1조번 연산) 규모의 슈퍼컴퓨터시대’가 본격적으로 개막됐다는 점도 시사하는 바가 크다. 전세계 슈퍼컴퓨터 10위권에 진입하기 위해서는 린팩 기준으로 최소 3.2TF/s가 넘어야 하는 것으로 조사됐다. 톱500 안에는 1TF/s 이상의 린팩 수치를 보인 시스템이 47대였다는 점도 이 같은 흐름을 입증한다. 가장 빠른 연산능력을 보여준 슈퍼컴퓨터는 올초 일본 요코하마의 지진실험센터(the Earth Simulator Center)에 구축된 ‘지진 가상실험용 시스템(35.86TF/s)’이며, 2위와 3위는 로스알라모스국립연구소에 있는 2대의 아스키Q 시스템이 차지했다. 두 컴퓨터 모두 HP의 알파서버 SC시스템으로 각각 7TF/s 규모의 연산능력을 갖고 있다.
사이트 공급업체별로는 HP가 1위로 나타났다. HP는 137개의 사이트를 확보해 131개를 확보한 IBM을 제치고 슈퍼컴시장의 왕좌를 지켰다. 그러나 용량 면에서는 IBM이 31.8%로 1위를 차지하면서 22.1%를 차지한 HP를 제쳤다.
<신혜선기자 shinhs@etnews.co.kr>