데이터가 기업의 핵심 IT 자산으로 등극하면서, 데이터의 효과적인 저장과 관리 방안에 대한 관심이 높아지고 있다. 특히 데이터 분석과 AI 활용 등을 위한 핵심 자원으로 비정형 데이터의 중요성이 커지면서, 데이터 솔루션에 대한 요구 역시 증가하고 있다.
기업들이 데이터를 관리하는 목적은 새로운 비즈니스 모델 적용, 시장 경쟁력 강화, 고객 경험 향상, 기업 비용 절감 등 다양하다. 이런 목표를 달성하기 위해서는 데이터 관리 워크플로우에 적합한 컴퓨팅, 스토리지, 네트워킹 구성요소가 필요하다.
고성능 스토리지 시장 규모는 2020년 이후 매년 확대되고 있다. 특히 제조, 통신산업을 중심으로 모든 유형의 데이터를 한 곳에 통합, 저장, 분석할 수 있는 솔루션에 대한 요구가 커지면서 데이터 레이크 시장이 더 확대될 것으로 전망된다.
‘데이터 레이크’는 기업 데이터의 중요한 혁신수단으로 손꼽힌다. 데이터 사일로(Silo)화 현상을 방지하고, 데이터 분석을 위한 모든 종류의 데이터를 취합하는 ‘데이터 중앙 공급소’와 같은 역할을 하기 때문이다. 그러나 진정한 데이터 레이크 구현을 위해서는 대규모 데이터 저장뿐 아니라 고성능 데이터 처리가 반드시 필요하다.
초고성능 병렬 파일시스템·오브젝트 스토리지 통합된 진정한 데이터 레이크 솔루션
데이터가 폭증하면서 분석해야 할 데이터의 양이 기하급수적으로 늘고 있다. NVMe 기반의 병렬 처리 시스템은 수십 기가바이트(GB) 이상의 데이터 처리를 위해 분석 환경을 최적화하고 폭증하는 데이터를 처리하는데 효과적이지만, 페타바이트(PB) 이상의 데이터를 저장하기에는 비용 부담이 높아지기도 한다.
또한, 대부분의 데이터는 초기에는 높은 액세스 빈도를 유지하지만, 시간이 지날수록 빈도가 낮아진다. 따라서 액세스 빈도가 낮아지는 데이터를 애플리케이션 성능에 영향을 주지 않고 티어링을 통해 더 저렴한 스토리지로 이동시킨다면 비용을 절감할 수 있다.
효성인포메이션시스템은 초고성능 병렬 파일시스템과 오브젝트 스토리지가 통합된 ‘HCSF(Hitachi Content Software for File)’를 통해 높은 성능과 대규모 확장성을 모두 제공하는 파일 스토리지를 선보이고 있다. 오브젝트 스토리지의 가용량과 클라우드 기능을 갖추면서도 분산 파일 시스템 속도를 제공하고, 파일과 오브젝트 프로토콜을 지원해 데이터 수집이 용이하다. 또한, 정책 기반 티어링 파일 시스템 운영으로 비용 효율적인 데이터 관리가 가능하다.
초고성능·비용효율 높은 빅데이터 처리 HPC 환경에 최적화
효성인포메이션시스템의 HCSF는 NVMe 전용 병렬 파일시스템을 통해 고성능 IO 처리가 가능하고, 오브젝트 스토리지인 HCP(Hitachi Content Platform)와 결합해 웜/콜드 데이터를 티어링하고 파일 데이터를 무제한급으로 저장할 수 있다. 또한 HCP에 보관된 데이터는 퍼블릭 클라우드의 S3 호환 오브젝트 스토리지와 연동해 데이터 저장 영역을 타 클라우드로 확장할 수도 있다.
파일이 오브젝트 스토리지로 티어링되더라도 백엔드에서만 저장 위치가 바뀌기 때문에 스토리지를 사용하는 분석 애플리케이션에서는 이를 신경 쓸 필요가 없다. 만약 분석 애플리케이션이 웜/콜드 티어인 HCP의 데이터를 액세스 하고자 해도, 해당 데이터는 다시 핫 티어인 NVMe 스토리지로 즉시 이동해 서비스된다. 이 모든 과정은 사용자 입장에서 별도 작업 없이 자동으로 지원되기 때문에 빅데이터를 효과적으로 관리할 수 있다.
HCSF는 초고성능이면서 동시에 비용 효율적인 대용량 데이터 처리가 필요한 HPC 환경에 매우 적합한 솔루션이다. 높은 처리량과 IOPS, 매우 짧은 대기시간이 동시에 필요한 혼합 워크로드에 강하기 때문에 엑사바이트(EB) 규모의 확장성과 성능 향상을 제공할 수 있다.
다양한 산업계에서 활용하는 고성능 인프라
HCSF는 범용적인 고성능 분석 요건에 적합한 통합 솔루션이다. 성능과 확장성, 스케일아웃 관점에서 제한 없이 데이터를 공유하고 지원할 수 있다. HCSF는 국내외 헬스케어나 자율주행 시뮬레이션, 공공이나 금융 분야 등 다양한 산업에서 고성능 인프라로 자리매김하고 있다.
해외의 한 제조기업은 AI 모델 트레이닝을 위해 수천만 개의 다양한 크기의 파일을 처리할 수 있는 솔루션이 필요했다. 기존 올플래시 NAS와 GPU 서버의 로컬 NVMe 스토리지로는 AI 트레이닝 시스템의 요구 성능을 충족하기 어려웠기 때문이다. HCSF 도입 후 기존 올플래시 NAS 대비 10배, 로컬 NVMe 대비 3배 이상의 성능 개선 효과를 거두었으며, 비용 절감과 GPU 활용도 역시 기존 대비 3배 이상 향상되는 효과를 얻었다.
국내 한 제조기업은 데이터 인사이트 확보를 위해 실시간 대용량 데이터 분석 시스템을 구축하고자 했다. 데이터 운영 인프라 개선, 데이터 분석/활용 고도화, 거버넌스 도입 등의 목표를 갖고, AI/ML 기반의 분석기법 도입을 위해 HCSF를 선택했다. 이 기업은 HCSF 도입을 통해 고성능 스토리지 인프라를 구축함과 동시에 다양한 클라이언트 운영 환경을 쉽게 구성할 수 있었으며, 정책 기반 데이터 티어링 스토리지를 쉽게 구축했다. 이를 통해 매일 수백 페타바이트 규모의 데이터 분석 능력을 확보할 수 있었고, 동시에 데이터 증가나 분석 요건 변화에 유연하게 대응할 수 있게 됐다.
효성인포메이션시스템은 HCSF 도입이 활발해짐에 따라, 주요 데이터 플랫폼, DW 등 전문 벤더와의 협업을 늘리며 시너지 효과를 높이고 있다. 잘 구성된 기술지원 프로세스를 통해, 다양한 구축 사례와 경험 기반으로 원활한 운영을 지원한다. 또한, 대규모 제조 기업, 플랫폼, 통신 분야의 기업을 비롯해 대용량 데이터 처리와 저장이 필요한 공공기관, 금융사 등 다양한 산업에 HCSF가 활용될 수 있도록 적극적으로 비즈니스를 펼쳐 나갈 계획이다.
[알림] 전자신문인터넷과 GTT KOREA는 오는 3월 23일 목요일 오전 8시 30분 부터 오후 5시 30분까지 인터컨티넨탈 서울 코엑스 하모니볼룸에서 “Data Insight & Security Summit(DISS) 2023”을 개최한다. 이 행사에서는 글로벌 데이터 솔루션 기업들이 기업의 임원과 의사결정자가 반드시 알아야 할 데이터 산업 신기술 트렌드 및 활용 방안과 데이터 경제 시대에 비즈니스에 성공할 수 있는 기업 맞춤형 데이터 전략이 제시된다.
전자신문인터넷 유은정 기자 (judy6956@etnews.com)