‘미국의 자존심을 건든 일본의 거대 야심작’. 지난해 5월 일본의 ‘어스 시뮬레이터 센터(ESC:Earth Simulator Center)’가 정식 가동에 들어갔을 때 전세계 언론을 통해 타전된 내용이다. ESC는 지난 97년 4월 일본 정부가 5개년 계획으로 당시 400억엔의 예산을 책정해 추진한 국가 프로젝트로 탄생된 작품. 문부과학성(옛 과학기술청) 비행기술연구소 엔지지어인 미요시 하지메가 지구운동에 대한 시뮬레이션을 측정하는 슈퍼컴퓨팅센터 설립 추진에 대한 요구를 줄기차게 해오던 차에 지구온난화방지회의가 핫이슈로 등장한 교토회의(기후변화협약당사국회의) 이후 일본 정부 차원에서 도입 추진을 전격 결정했다. 본지는 국내 언론으로는 처음 일본 요코하마에 위치한 ESC를 방문, ESC 가동의미와 향후 전세계 슈퍼컴퓨터의 발전추이를 살펴봤다.
일본 요코하마에 위치한 ESC는 지난해 6월 전세계 슈퍼컴퓨터 성능을 평가하는 공인 사이트인 Top500오르그(http://www.top500.org)에서 미국을 제치고 전세계 최고성능의 슈퍼컴퓨터 보유 기관으로 등극했다. ESC의 슈퍼컴퓨터가 구현하는 실질성능은 35.86테라플롭스로, 7.727테라플롭스 성능을 구현하는 미국 최대 기관(로스앨러모스 국립연구소)의 슈퍼컴퓨터를 5배 정도 앞섰다.
중앙 네트워크 스위치 장비를 중심으로 640대의 벡터형(NEC) 서버를 지구 모양처럼 둥글게 연결한 ESC의 슈퍼컴퓨터는 전체 높이가 17m, 가로·세로가 65m·50m로 서울 장충체육관 크기와 맞먹는다. 이 서버들을 연결해 놓은 광케이블의 총길이만 2400㎞로 일본 열도 전체 길이와 비슷하다.
지면 아래 전원이나 냉각장치 등 기초 인프라를 설치하기 위해 만든 공간(액세스 플로)의 높이는 1.7m에 이른다. 보통 IDC의 경우 50㎝ 수준인 점을 감안하면 가히 그 크기를 계산할 수 있다.
ESC는 200여명의 연구원이 근무하는 일반 사무실 건물과 구름다리로 연결돼 있지만 강도7의 지진이 발생해도 끄떡 없는 기반 공사로 유명하다. 지진 발생과 동시에 연구동과 센터를 연결하는 구름다리를 자동 차단하도록 설계해 연구동이 무너지더라도 전혀 피해를 입지 않는다.
ESC는 슈퍼컴퓨터 지존자리를 두고 대결을 벌여온 미국의 자존심을 구겨놓은 국제적인 사건으로 아직까지 회자되고 있다.
ESC의 등장은 △센터 운영의 명분 △슈퍼컴퓨터 기술 트렌드에 대한 일본의 영향력 확대 △일본 정부의 IT 지원정책 등 세가지 면에서 살펴볼 만하다.
우선 ESC는 현재 경쟁국인 미국을 비롯해 프랑스·영국 등 세계 유수의 기관들이 지구환경과 관련된 다양한 프로젝트를 추진하기 위해 적극 활용되고 있다는 점에서 대의명분을 인정받았다. 이는 당초 ESC 설립에 결정적인 영향을 미친 도쿄회의 이후 탄산가스 배출을 억제하면서 지구온도 상승을 막을 수 있는 측정 시스템을 시뮬레이션하기 위해 일본 정부가 100% 투자해 센터를 설립했다는 점에서 의미가 깊다. 물론 이 결과는 일본 NEC 슈퍼컴퓨터 기술을 정부가 측면지원해 세계 시장을 무대로 사업을 벌일 수 있는 기회로 이어지게 됐다.
두번째는 ESC 슈퍼컴퓨터가 갖는 기술적인 특성을 살펴봐야 한다. ESC 슈퍼컴은 전통적인 슈퍼컴퓨터 기술 방식인 벡터형이 쇠락하고 IBM이나 HP 같은 유닉스 진영이 부각되는 상황에서 등장했다. 따라서 슈퍼컴퓨터 구현에 중요한 기술로 부각된 클러스터 방식을 벡터형에 접목시켰을 뿐 아니라 단일 서버(칩)가 구현하는 성능이 아무리 좋아도 수백대의 서버를 연결했을 때 발생하는 성능손실을 막음으로써 이론성능치 100%에 가까운 실질성능을 구현했다.
마지막으로 이번 프로젝트를 추진하는 일본 정부의 자세와 이 프로젝트를 일회성으로 끝내지 않고 성능개선 작업을 꾸준히 전개하고 있는 노력도 간과해선 안된다.
수십테라플로스급 슈퍼컴퓨터에서 추출된 데이터는 그 양이 어마어마한데 이를 외부 사용자들이 사용할 때까지 슈퍼컴퓨터에 저장할 경우 성능에 부하가 걸릴 수밖에 없다. ESC는 이런 단점을 해결하기 위해 별도의 가상서버와 대규모 스토리지 환경을 구축, 시뮬레이션 결과물로 나온 데이터를 백업해 최종 사용자가 이로부터 데이터를 추출해 사용할 수 있는 ‘마스터데이터처리시스템’ 구축 프로젝트에 착수했다.
특히 문부과학성은 5년 상환 조건으로 30억엔의 투자를 확정, ESC 결정에 화답했으며 센터는 지난 4월 예산을 확보했다. 또 데이터 접속을 보다 빠르게 하기 위해 문부과학성이 보유한 10기가비트 전용선을 끌어와 ESC 전용선으로 사용토록 지원키로 했다.
현재 ESC에는 지구환경과 관련된 크고 작은 40여개 프로젝트(사용자 200여명)에 필요한 시뮬레이션 작업을 진행하고 있으며, 내년에는 일본 민간 자동차회사들이 연합한 컨소시엄이 지구환경 보존을 위한 엔진개발 등 차량 프로젝트에도 사용할 예정이다.
<요코하마(일본)=신혜선기자 shinhs@etnews.co.kr>
인터커넥티드 네트워크 캐비닛을 정중앙에 놓고 서버당 64기가플롭스를 구현하는 640대 서버를 지구 모양으로 둘러싼 형태로 설계된 ESC 슈퍼컴의 기술적 특징은 ‘구현구조’다.
NEC가 개발한 2㎝ 폭의 단일 칩에 들어가는 트랜지스터는 6000개. 이를 1만개까지 늘려 성능을 올릴 수 있지만 장비가 커지면 네트워크 거리가 떨어지게 돼 실질성능 측면에서 칩당 성능이 올라간 효과를 거두지 못한다. 이 때문에 ESC측은 칩의 크기와 서버간 거리를 ‘최적화’해 서버에서 서버로 데이터가 옮겨지는 과정에서 발생하는 로스타임을 최소화하는 방안을 채택했다. 전송속도를 빠르게 하기 위해 광케이블을 이용하지만 케이블간 거리가 멀어지는 것을 막기 위해 스위치로부터 모든 서버의 거리를 1.5m를 벗어나지 않도록 설계했다.
ESC가 채택한 방식은 그간 칩 성능이나 슈퍼컴퓨터 파워 그 자체에 국한돼온 논의를 본격적으로 메모리나 네트워크 등 실제 구현하고자 하는 인프라 전체에 대한 기술적 범주로 옮겨놓았다는 평가를 받고 있다. 대부분 현재 가동되고 있는 전세계 슈퍼컴퓨터가 이론성능치의 50∼70% 수준 실질성능을 구현하는 것과 비교할 때 ESC의 슈퍼컴퓨터가 90% 가까운 실질성능을 구현한다는 것은 주목할 만하다. 특히 ESC측은 가동 1년이 지난 현재 시점에도 실제 이론성능치인 40.09테라플롭스를 구현하기 주변 인프라 개선에 적극 나서고 있다는 점도 배울거리다.
<인터뷰> 사토 데츠야 센터장
“더 이상 미국이 주도하는 세상에 살고 싶지 않습니다.”
사토 데츠야 ESC 센터장이 ESC 슈퍼컴 가동 의미에 대해 던진 말이다.
올해 우리 나이로 65세가 된 사토 데츠야 ESC 센터장은 일본 슈퍼컴퓨터 분야, 특히 컴퓨터 시물레이션의 대가로 꼽힌다. 70년 교토대학 전자공학 박사학위를 받고 40여년간 슈퍼컴퓨터 분야에 종사하고 있는 사토 데츠야 센터장은 ESC 출현에 한 축을 차지한 일본 해양과학기술센터(JAMSTEC)의 이사직을 겸임하고 있다.
―슈퍼컴퓨터를 구축할 당시 어떤 부분에 초점을 두었는지.
▲슈퍼컴퓨팅 구현구조를 제일 중요하게 다뤘다. 즉 640대 서버를 연결하는데 각 노드(서버)의 성능이 빠른 것도 중요하지만 개별 노드에서 발생한 데이터를 다른 서버로 넘기는 네트워크 과정에서 지연(로스타임)되는 한계가 발생할 수밖에 없다. 이를 방지하기 위해 중앙에 스위치 네트워크를 구축, 데이터 이동에 따른 손실을 극소화하도록 하는 데 주안점을 뒀다. 단일 스위치 구조가 성능구현의 핵심이라고 본다.
―ESC 출현이 슈퍼컴퓨터 시장에 어떤 영향을 미쳤다고 보는가.
▲무엇보다 정부가 국가 정책으로 슈퍼컴퓨터 사업을 육성하고 지원해야 한다는 점을 분명하게 인식하는 계기가 됐다. 슈퍼컴퓨터는 5년 정도 걸려 만들어 7∼8년 사용한다. 페타플롭스 성능구현을 노리는 차세대 슈퍼컴퓨터 프로젝트는 지금 시점에서 준비해야 하는데 이번 프로젝트가 성공적으로 마무리되면서 정부기관과 기업 등 유관 기관들이 이를 위해 공조하는 움직임이 시작됐다. 미국이 주도하는 IT에 제동을 걸었다는 의미 또한 높다고 본다.
―ESC 출현으로 미국 정부와 기업들의 자존심이 많이 다친 것으로 알려져 있다. 미국이 페타플롭스 슈퍼컴퓨터 구현 프로젝트를 앞당기고 있는 것으로 아는데 일본의 페타플롭스 머신 개발계획은.
▲시기를 못박을 수 없지만 차세대 슈퍼컴퓨터 프로젝트를 준비하고 있는 것은 사실이다. 강조하지만 이론성능과 실질성능간의 차이를 얼마나 최소화할 수 있느냐가 기술력의 잣대다. 지금의 기술 수준이라면 미국에서 구현하는 실질성능의 페타플롭스급은 이론성능의 10% 수준에 이를 것이라 본다. 미국이 먼저 페타플롭스 성능을 구현하는 것은 아마추어들에게는 뉴스거리가 될지 모르지만 중요한 문제가 아니다.
―한국의 경우 슈퍼컴퓨터의 주요 흐름 중 하나인 PC클러스터 시장이 확산되고 있다. 전문가로서 PC클러스터를 비롯한 향후 슈퍼컴퓨터 시장을 전망한다면.
▲우리도 현재 추진하고 있는 마스터데이터처리시스템 구현에서 PC클러스터를 적용할 계획이다. NEC나 후지쯔 등 일본 기업들도 이 시장에 뛰어들었고, 미국 역시 오래 전부터 대규모 PC클러스터 프로젝트를 추진하고 있다. 한국 내 민간기업이나 정부기관에서 PC클러스터 도입에 적극 나서는 것은 기술 트렌드를 잘 잡은 것이라 본다. 슈퍼컴퓨터의 필요성이 제기되는 것은 관찰만으로는 안되기 때문이다. 즉 과학기술이 뒷받침된 정확성이 전지구적인 문제를 해결하고 기업의 시행착오를 줄일 수 있다. 슈퍼컴퓨터의 사용은 기업이나 국가의 경쟁을 넘어선 지구적 차원의 대의에 사용될 수 있다. 한국의 강점인 초고속인터넷이나 일본의 슈퍼컴퓨터 파워 등 각국의 IT 장점을 묶어 전지구적 차원의 시뮬레이션 센터를 만들 수 있을 것으로 생각한다.