관련 통계자료 다운로드 클라우드 컴퓨팅 기반 대용량 데이터 분석·처리 플랫폼 활용 분야
클라우드 컴퓨팅이 IT산업에 있어서 차세대 메가 트렌드로 부각되면서 비즈니스와 정보시스템 영역에서는 각각의 필요성에 따라 클라우드 컴퓨팅에 대한 관심과 적용 모델을 제시하기 시작했다. 하지만 아직까지 국내에서는 인터넷 포털 서비스 업체를 제외하고는 대규모의 클라우드 컴퓨팅 적용 사례가 없을 뿐만 아니라 이에 대한 객관적, 정량적인 투자회수(ROI) 분석이 나오지 않는 상황이라서 본격적인 클라우드 컴퓨팅 활성화 단계는 아직 시작되지 않은 것으로 보여진다.
SK C&C는 한전KDN과 함께 정보통신산업진흥원(NIPA)에서 지원하는 ‘공개SW 커뮤니티 지원사업 전략과제(스마트그리드)’로 수행하고 있으며 이 사례를 통해 현재 전력 계통 및 스마트그리드 분야에서 필요한 전력 품질에 대한 실시간 모니터링, 분석용 정보시스템에 클라우드 컴퓨팅 적용 제안을 통해 클라우드 컴퓨팅의 구체적인 실제 적용 가능성 및 파급 효과에 대해 알아보자.
현대의 대규모 전력계통에서는 수많은 발전기와 송전-변전-배전 설비가 시시각각 전력수요에 대처하도록 운영되고 있다. 우리나라의 전력계통 운영은 전력거래소가 담당하고 있는데 자동화 운영을 위한 에너지관리시스템(EMS)이 운영되고 있으며, 이는 송전망 감시제어시스템(SCADA: Supervisory Control and Data Acquisition)을 이용하여 실시간 상황 데이터를 2~10초 간격으로 수집된 자료를 이용하고 있다. 이를 통하여 전력공급의 경제성과 안전성을 확보하고 있다.
그런데 현재 운영 시스템에서는 각 변전소에서 발생하는 장애에 대해 즉각적으로 인지할 수 있는 정확한 상황 정보를 충분히 제공받지 못하고 있으며 자료 측정 시간과 정밀성에 대해 오차가 크다는 점과 이에 따라 정밀한 현상의 인식이 어렵다는 문제가 있다.
이와 같은 전력계통 운영 방식에서 최근 주목을 받고 있는 고정밀페이저측정장치(PMU:Phasor Measurement Unit)를 이용하면서 교류 전압, 전류의 위상, 주파수 변화율 등 매우 정밀도가 높으며 아울러 매초당 30~60번 데이터의 측정이 가능하게 되어 전력계통의 다이나믹한 특성을 시각적으로 분석할 수 있게 되었다. 또한 PMU는 위성신호(GPS)를 이용하여 각각의 측정 데이터를 백만분의 1초 단위로 측정시간이 표시되므로 전국에서 일어나는 상황 데이터를 같은 시간에 측정하는 효과가 있다.
이러한 정밀한 PMU 데이터를 활용함으로써 결국 전국 송전망에 대한 실시간 상황 분석이 가능하다. 즉, 각 지역에 설치된 PMU 데이터를 이용하여 전국의 발전소와 변전소의 전압과 전력의 흐름을 실시간으로 정밀하게 파악할 수 있는 것이다. 따라서 전국 시스템의 장애발생 상황을 사전에 인지하여 대응조치를 강구할 수 있다.
◇고가의 대형장비 대신 개방형 클라우드로 데이터 저장 분석=PMU 데이터 정보 이용은 그동안 전력 시스템 운영에 있어서 실시간으로 제공받지 못하던 것으로서 현재 전력 시스템의 안정성 및 신뢰도를 획기적으로 발전시켜 대규모 정전 사고 방지를 위한 기반이 되며, 향후 스마트그리드가 활성화되면서 풍력, 태양열, 조력 발전 등 다양한 전력원의 품질을 실시간으로 모니터링하고 제어하는 데에 있어 기초적인 분석 자료를 제공하는 매우 중요한 역할을 하게 된다.
그런데 지금까지 이와 같은 대용량 PMU 데이터의 저장 및 분석·처리를 위해서는 상당히 고가의 대형 장비와 상용 데이터 분석 처리 프로그램을 이용하여 처리해왔던 이 분야에 저가의 범용 서버와 공개소프트웨어를 이용해 구축된 개방형 클라우드 컴퓨팅 데이터 분석 플랫폼을 이용하면 보다 저렴한 비용으로 스마트그리드 전력 공급자 및 수요자들에게 필요한 전력 품질에 대한 실시간 정보 제공이 가능해 진다.
다양한 전력 발전원으로부터 공급되는 전력을 실시간 제어하며 전력 품질을 안정적으로 유지해야하는 스마트 그리드가 활성화되기 위해서는 실시간 송배전 전력 상황 정보를 수집, 저장 및 분석하는 시스템이 매우 중요한 위치를 차지하게 된다. 결국 스마트그리드 산업 발전의 중요한 분야에 적용될 수 있는 것이 바로 클라우드 컴퓨팅 기반 대용량 데이터 저장 및 분석 플랫폼이다.
NIPA 공개SW 커뮤니티 지원 과제를 통해 개발 및 검증하고자 하는 스마트그리드 전력 데이터 분석 플랫폼 관련 기술은 크게 전력 데이터에 대한 변환 및 전송, 대용량 전력 데이터의 수집 및 저장, 그리고 분산 병렬 컴퓨팅 기술을 이용한 데이터 분석, 처리 등 세 영역으로 구분된다.
세부적인 기술 적용 내용으로는 먼저 전력 데이터에 대한 변환 및 전송 영역에서는 PMU, GPS를 통해 실시간으로 전력 계통 상황의 감시 및 분석을 위해 전국 지역을 연결하는 PMU 데이터 네트워크 통신 아키텍쳐를 설계하고 이를 기초로 PMU 데이터 전송 기술을 개발, 적용한다.
그리고 대용량 전력 데이터의 수집·저장 영역에서는 대용량의 PMU 데이터를 효율적으로 수집, 저장하기 위한 가용성이 보장된 실시간 데이터 수집 기술과 더불어 전송 과정에서 누락되거나 지연된 데이터를 위한 보정 기술을 적용한다.
또한 분산병렬컴퓨팅 기술을 이용한 데이터 분석 처리 영역에서는 페타바이트급 확장성을 고려한 대용량 데이터 저장을 위한 클라우드 스토리지 시스템과 전력 데이터 분석을 위한 분산병렬 처리 기술 및 데이터 분석 알고리듬을 적용한다. 이상의 영역별 기술 적용 내용을 정리하면 그림과 같다.
◇오픈소스 기반 분산컴퓨팅 적용=이번 과제에서 적용하고자 하는 대용량 데이터 저장용 클라우드 시스템 및 데이터 분석·처리를 위한 클라우드 컴퓨팅 아키텍처는 SK C&C 독자 개발품으로 그림과 같이 구성되어 있다.
세부적 기술들은 클라우드 환경에 대한 모니터링 및 스케줄링 등의 기능을 제공하는 클라우드 관리 시스템, 대규모 데이터 저장을 위한 분산 파일 시스템 기술, 대규모 데이터 검색 및 변경을 지원하는 분산 데이터 저장 관리 기술, 대규모 데이터 분석 처리를 지원하기 위한 분산 병렬 처리 및 분석 기술 등이 통합되어 있으며 이런 기술들을 통합하여 대용량 전력 데이터 분석/처리를 위한 클라우드 개발 플랫폼을 적용할 수 있다.
이번에 적용하는 클라우드 컴퓨팅 기반 데이터 분석 처리 플랫폼은 다음과 같은 두 가지 특징이 있다.
◇오픈소스 기반의 분산 컴퓨팅 기술 적용
대용량 PMU 데이터 수집 및 처리를 위해 기존의 상용 벤더의 제품이 아닌 하둡(Hadoop) 등 오픈소스 분산 컴퓨팅 기술을 이용하여 광대한 데이터 처리를 위한 저비용의 시스템을 구현한다. 이와 같은 대용량 데이터 저장 및 분석·처리 플랫폼 구축을 위한 중요한 오픈소스 기술은 다음과 같다.
- 하둡 분산 파일시스템의 적용이다. 이 기술은 저렴한 범용 서버를 이용해 손쉽게 확장해서 구동할 수 있도록 설계되어 있어 매초 단위로 측정되는 광대한 전력 데이터량을 저장, 관리하는 데에는 가장 경제적인 저비용의 방식이다. 또한 데이터의 신뢰성, 안정성 확보를 위한 3중 데이터 분산, 복사 구조를 때문에 모든 물리적인 기기가 파손되어도 운영파일 시스템이 유지될 수 있는 기술을 구현한다.
- 대용량 전력 데이터 분석/처리를 위한 기술로는 하둡의 분산 프로세싱 프레임워크인 맵리듀스(MapReduce)라는 기술을 활용한다. 이 알고리즘은 컴퓨터의 업무를 수백 또는 수천 가지의 노드로 분리하는 것으로 PB 이상의 대용량 데이터를 클라우드 클러스터 서버에서 병렬 처리를 지원한다. 이 과제에서는 클라우드 스토리지에 수집된 전력 데이터 분석을 위해 병렬로 연결된 서버에서 빠르게 데이터에 접속하고 처리할 수 있는 매우 효율적인 분석·처리 기술을 적용한다.
◇x86 기반의 범용 하드웨어 시스템 사용
x86 서버를 기반으로 리눅스 시스템 구현을 통해 저비용, 고효율 시스템을 구현한다. 이렇게 범용 장비를 이용한 클라우드 시스템은 장애에 신속한 대처 및 향후 이기종 기반의 시스템 확장이 가능하게 된다.
스마트 그리드 데이터 분석 시스템을 통해 개발된 대용량 데이터 분석·처리 플랫폼은 전력 산업 이외에도 각종 시계열 데이터 분석·처리 분야에서 널리 활용될 수 있다. 기존 전산 환경에서 수행이 어렵거나 불가능했던 다양한 데이터 처리 작업의 폭넓은 활용을 통해 다양한 부가 서비스 창출을 기대할 수 있으며 대용량 데이터 수집, 저장 및 분석 플랫폼을 통하여 보다 안정적이고 고품질의 서비스가 가능하다.
최근 인터넷 서비스 데이터량의 지속적인 증가로 대용량의 원시 데이터로부터 정보를 가공 처리하는 과정에서 체계화된 정보 저장 관리 및 다양한 정보 분석을 위해 클라우드 컴퓨팅 기술을 적용하는 움직임이 활발히 진행되고 있다. 기존의 분산 처리 기술을 가지고 이와 같은 대규모 데이터 처리 환경에 적용하기에는 기능과 성능 면에서 확장성과 고비용의 문제가 따르기 때문이다.
따라서 저가의 범용 서버들로 구성된 클라우드 컴퓨팅 기반의 분산 컴퓨팅 기술을 적용한 새로운 시스템들이 대규모 데이터 처리를 필요하는 인터넷 서비스 이미 널리 적용되고 있다. 이를 기반으로 바이오 정보처리, 과학 시뮬레이션, 비즈니스 인텔리전스 등 다른 응용 영역으로 확대하여 클라우드 서비스로 제공하려는 비즈니스 모델이 제시되고 있다.
또한 데이터 마이닝 시장에서 개방된 클라우드 기반 개발 환경이 제공되면 프로그램 개발자들은 오픈 아키텍처로 다양한 기능들을 손쉽게 개발할 수 있게 된다. 이로 인해 일부 대형기업에서만 가능했던 데이터 마이닝 서비스를 중소업체들도 클라우드 기반 분석 플랫폼을 통해 자신만의 차별화된 기술력을 발휘할 수 있는 개발 환경을 구현할 수 있게 된다.
클라우드 컴퓨팅 기반의 데이터 분석·처리 플랫폼은 단순한 인프라, 시스템 SW의 제공이 아닌 개발 플랫폼으로서의 데이터 분석 프로그램 환경을 제공함으로써 개발자들이 효과적으로 작업할 수 있도록 지원하게 된다.
이와 같은 클라우드 데이터 분석 플랫폼을 활용할 경우, 프로그램 개발업체들은 기존 시장에서의 노하우를 바탕으로 최적의 비즈니스 인텔리전스 솔루션을 보다 신속하고 효율적으로 개발이 가능하게 되며, 이용자들은 저렴한 비용으로 데이터 분석·처리 서비스를 이용할 수 있게 될 것으로 기대한다.
이덕재 SK C&C 클라우드컴퓨팅 사업본부 부장