[CIO 서밋 2022]효성인포메이션시스템 "쌓아둔 데이터 활용해 디지털 혁신 현실화"

권동수 효성인포메이션시스템 전문위원은 인공지능(AI)·고성능 컴퓨팅(HPC) 빅데이터78를 위한 데이터 레이크에 초점을 맞춰 기업 디지털 혁신을 현실화할 수 있는 방법을 제시했다. 데이터 레이크는 로(원형) 데이터가 모여있는 저장소를 의미한다.

권 전문위원은 24일 'CIO 서밋 2022'에서 “효성인포메이션시스템은 데이터 처리가 뛰어난 오브젝트 스토리지와 초고속 스토리지, 데이터 파이프라인, AI 기반 자동화에 대한 국내외 적용 사례를 보유했다”고 소개했다.

그는 데이터 분석 요구사항은 다양하고 복잡하며 고비용이라고 말했다. 각 워크플로 단계에는 고유한 컴퓨팅, 스토리지 및 네트워킹 요구사항이 있기 때문이다. 데이터 관리 및 통합 문제 발생으로 데이터 사일로가 발생하며 비용과 시간이 증가해 근본적 인사이트 도출에 방해 요소로 작용한다.

권 전문위원은 “데이터 레이크가 필요한 이유는 모든 데이터를 데이터 타입에 상관없이 저장 가능한 시스템이 필요하기 때문”이라며 “새로운 저장소가 발생할 때마다 레거시 시스템에 연결하지 않고 오브젝트 스토리지를 사용해 연결해 진정한 데이터 레이크를 활용 가능하다”고 말했다.

권 전문위원은 “데이터 분석 및 관리를 위해서는 다양한 응용프로그램과 프로토콜 지원이 필요하고 대용량에 대한 확장성도 보장돼야 한다”며 “고성능과 짧은 지연 시간도 요구된다”고 덧붙였다.

데이터 웨어하우스(DW) 환경을 적용한 통신사 사례도 소개됐다. 통신사는 차세대 시스템에 어울리는 아키텍처 도입, 늘어나는 데이터 마트 서비스 요구 등을 소화해야 했다. 기존 운영환경 변화 없이 운영비용을 절감하는 방법도 요구됐다.

권 전문위원은 “운영 리소스를 최적화하며 데이터 서비스 분산으로 데이터 마트 운영 부담을 감소시켰다”며 “오브젝트 스토리지 기반 스키마 레벨 백업으로 신속한 데이터 복구 체계를 확보하는 전략으로 새로운 데이터 서비스 방향을 확보할 수 있었다”고 밝혔다.

이어 권 전문위원은 하둡287 환경을 갖추게 된 해외 정부 사례에 대해서도 언급했다. 운영 데이터 규모 확장 대응과 클라우데라 라이선스 비용 절감 방안, 불안정한 NAS(Network Attached Storage) 하둡분산파일시스템(HDFS)을 개선할 수 있는 아키텍처 등이 고민이었다.

권 전문위원은 “노드 증가에 따른 성능 증가 여부 등 현재와 미래 요구 성능에 대응하고 S3 버킷(bucket) 데이터 활용으로 비용을 줄이고 활용성을 높였다”며 “이를 통해 빅데이터 환경의 데이터 레이크를 개선할 수 있었다”고 설명했다.

권혜미기자 hyeming@etnews.com