빅데이터 시대. 기업 경쟁력은 데이터 수집이 아닌 가치 있는 데이터를 활용하는 데 있다. 하지만 기업은 여전히 데이터 수집에만 주력하고 데이터를 활용한다지만 일부 데이터만 쓸 뿐이다. 데이터 가치를 높이는 데 필요한 정보를 정확히 찾아내는 일은 갈수록 어려워졌다. 데이터 수집, 저장, 분석을 넘어 제대로 된 '데이터 운영과 활용'이 절실해지고 있다.
이향선 전자신문인터넷 기자 hyangseon.lee@etnews.com
데이터 운영 지향점, 데이터옵스
최적의 데이터 운영 전략으로 떠오르는 데이터옵스(DataOps)는 적합한 데이터를 적시에 올바른 장소로 가져오는 프로세스를 자동화해 데이터 잠재력을 최대화한다. 개발과 운영을 함께하는 데브옵스(DevOps)처럼 분석, 데이터, 비즈니스 팀을 하나로 통합해 의사 결정의 품질과 예측 가능성을 높이고 가치 창출 시간을 단축한다. 핵심은 △분석 속도 △거버넌스 △에지 투 클라우드(edge-to-cloud) 운영 민첩성 등이다. 대부분 분석과 머신러닝을 위한 데이터 파이프라인 강화로 시작한다. 데이터 탐지, 통합, 전송 자동화, 가속화는 가공되지 않은 데이터를 실행 가능한 통찰력으로 전환하는 시간을 단축시킨다.
데이터옵스 구체화를 위해 탐색, 메타데이터 관리, 정책 기반 거버넌스〃유지관리, 자동화된 데이터 통합 및 데이터 파이프라인 구축 등의 기술이 필요하다. 다양한 기술이 적절한 데이터 플랫폼과 연결될 때 성공적인 데이터 운영이 가능하다.
빅데이터 분석 플랫폼 '펜타호', 데이터에 가치를 담다
데이터옵스 기반 빅데이터 분석 플랫폼 효성인포메이션시스템 '펜타호(Pentaho)'가 기업 데이터 운영과 활용에 주목받고 있다. 펜타호는 오픈소스 기반으로 데이터 소스를 추출, 변환, 적재(ETL)에서 고급분석, 머신러닝까지 지원하는 '펜타호 데이터 인티그레이션(PDI)'과 관련된 시각화를 지원하는 '펜타호 비즈니스 애널리틱스(PBA)'로 구성됐다. 정형·비정형 데이터의 수집, 변환, 적재, 분석, 시각화, 머신러닝 과정까지 워크플로 단위로 자동화한다.
데이터 웨어하우스와 데이터 레이크와 같은 기존 도구를 AI, 머신러닝과 결합해 데이터 통합 및 파이프라인 기능이 강화됐다. 기업이 데이터에서 인사이트를 도출할 때 방해되는 요소를 제거하고 데이터 관리 방식을 현대화하고 데이터 활용 민첩성을 높였다. 세계 2000여 고객사를 확보하고 오픈소스 커뮤니티 활성화로 유용하고 다양한 플러그인을 갖췄다. 기업들은 펜타호와 유저 커뮤니티 그룹이 개발한 플러그인을 '펜타호 마켓플레이스'에서 내려받아 설치할 수 있다.
멀티 클라우드 지원과 데이터 가시성 높은 펜타호는 데이터 파이프라인 공유, 관리, 모니터링을 위한 데이터 플로(flow) 서비스를 제공한다. 데이터 파이프라인 마찰을 줄이고 에지에서 클라우드까지 고급 데이터 발견, 접근, 통합 기능으로 데이터 활용 효율을 높였다.
산업별 특화된 모델링으로 비즈니스 경쟁력 강화
펜타호는 다양한 산업에 활용될 수 있다. 국내 대형 게임회사에서는 펜타호의 플러그인 지원 기능 등 반정형 데이터나 게임 로그 데이터의 대용량 처리에 활용하고 있다. 국내 대형 제조업체에서는 예지 정비 업무에 적용하고 있다. 설비 데이터를 실시간 수집, 분석해 제품 생산의 전반적인 품질을 향상시켰다. 분석한 데이터를 기반으로 각 공정 단계의 주요 영향인자를 도출해 제품 불량, 설비 고장 예측, 관리범위 이탈 문제 등을 사전에 조치할 수 있다.
효성인포메이션시스템은 2월부터 산업별 주요 업무에 대한 12가지 분석 모형을 준비해 데이터 수집, 전처리, 분석, 시각화 등에 대한 데모 서비스를 시작했다. 솔루션 판매에 그치지 않고 고객사 이해를 기반으로 빠른 솔루션 구축 및 분석 전반에 명확한 서비스를 제공해 빠르고 활용성 높은 빅데이터 서비스 적용을 지원하고 있다. 현재는 제조 분야 예지 정비부터 품질 예측 분석, 이상치 탐지를 비롯해 e커머스 수요 예측, 고객 이탈 예측, 금융권의 불량 거래 탐지, 부도 예측 등 분석 모형을 보유하고 있다. 이 외에도 엔터테인먼트 관객 기호 분석, 부동산 가격 예측, 공공 분야 미세먼지 예측 등 전 산업 분야에 걸쳐 펜타호 빅데이터 활용을 지원하고 있다.
데이터 활용, IIoT·스마트팩토리 분야에서 속도 내
기업은 빅데이터 저장 중심에서 '활용'에 초점을 둔 운영시스템 개선에 초점을 맞추고 있다. 중장기로는 사물인터넷(IoT)과 관련된 빅데이터 처리 인프라 시장 성장세가 전망된다. IoT는 새로운 IT역량과 커넥티비티로 혁신을 주도하고 운영 효율성을 높여 모든 산업군에 빠르게 확산되고 있다. 특히 빅데이터, 분석, 인공지능(AI)을 사용하는 산업용 사물인터넷(IIoT)은 제품 전체 라이프사이클에 걸쳐 운영 최적화 및 예측 정비, 품질 개선 등으로 성장을 거듭하고 있다.
스마트 팩토리 시작은 데이터다. 이기종 내부 또는 외부, 정형과 비정형 데이터의 효율적 관리, AI 기반 분석으로 부가가치를 창출하려면 빅데이터 플랫폼 활용이 필수다. 에너지 절감과 설비 예지 정비, 품질 및 생산성 향상, 공정 최적화 등을 머신러닝으로 빅데이터 플랫폼 안에서 구현할 수 있다.
IIoT 라인업을 제공하는 효성인포메이션시스템 '루마다(Lumada) 플랫폼'은 에지와 클라우드 관련 기능과 데이터옵스를 지원하는 빅데이터 분석 플랫폼 펜타호, 오브젝트 스토리지(HCP) 등 데이터 통합 및 분석과 관련된 기술을 결합해 데이터 활용 민첩성과 데이터 운영성 효율을 높였다. 올해 IIoT 시장에서 빅데이터 역량 기반 에지부터 영역별로 발생하는 데이터를 활용한 비즈니스를 확대할 방침이다.
<활용 사례>
예지 정비 시스템을 빛낸 빅데이터 분석 플랫폼
생산 설비가 핵심인 제조업에서는 장비가 고장 나기 전에 문제가 될 요소를 정확하게 파악해 효과적으로 대응해야 한다. 이 기술이 '예지 정비(Predictive Maintenance)'다. 예지 정비 시스템은 다수 센서 및 공정 정보를 융합해 머신러닝 모델링으로 사람이 인지할 수 없는 데이터 변화와 패턴을 검출, 설비 이상을 예측하고 설비 셧다운을 방지해 유지·보수 비용을 절감하고 생산성을 향상시킨다.
예지 정비는 AI와 머신러닝을 이용하지만 생산 설비의 생애 주기와 생애 정보가 복잡하게 얽혀 있다. 흔히 볼 수 있는 수요 예측과 비교하면 복잡하고 쉽지 않은 분야이며, 데이터 역시 다양할 뿐만 아니라 정보기술(IT)과 운영기술(OT;Operational Technology)의 협업을 필요로 하는 전형적인 디지털 트랜스포메이션 기술이다. 생산 현장 전문가들은 데이터에 관심을 가져야 하고, IT는 기존 데이터 기술에 OT의 역량, 즉 산업 전문 지식을 결합해야 원하는 성과를 얻을 수 있다.
펜타호는 제조 산업 기업 요구에 부합하는 플랫폼 제공을 위해 스마트팩토리 에코 시스템을 구축, IT와 OT 협업을 위해 산업 전문가를 연계한 차별화된 서비스로 예지 정비 프로젝트를 성공적으로 완료한 다양한 경험이 있다. 기업에 맞는 맞춤형 예지 정비 시스템 구축에는 고객 담당자와 산업 전문가, 데이터 사이언티스트를 비롯한 여러 분야의 유기적인 협업이 필요하다. 산업 전문가와 설비·공정 담당자가 함께 환경을 분석하고 설비 고장에 대한 정의 및 관련된 인자를 추출하고, 산업 전문가와 데이터 사이언티스트는 빅데이터적 접근을 통해 산업 전문 분야의 접점을 찾아 유효한 인자를 선정한다.
산업 전문가 의견을 받아 선정된 인자를 중심으로 빅데이터 엔지니어와 분석가, 애플리케이션 개발자를 통해 예지 정비 시스템을 구축해 설비 이상에 대한 예측 정확도를 향상시킬 수 있다. 예지 정비 시스템 구축 후 산업 전문가와 데이터 사이언티스트의 반복된 피드백과 튜닝으로 모델을 보다 정교하게 만드는 작업을 진행하고 유효 검증을 통해 그 유효성을 확인할 수 있다.
머신러닝 기반 예지 정비 시스템은 여러 단계를 하나의 워크플로에 통합해 관리의 편의성과 확장성을 높일 수 있다. 동일 설비에 확장하거나 다른 공장에 복제해 응용하면 중복 작업을 피해 비용도 절감할 수 있다. 워크플로를 자동화해 모델 업데이트와 최적 모델을 선정해 높은 예측력을 유지하고 지속 학습해 모델 성능을 향상시킬 수 있다. 설비의 부품 교체나 센서 변경, 대정비 등과 같은 설비 환경 변화에 따라 모델 예측력이 저하돼도 모델 업데이트와 재학습을 통해 환경 변화에 유연하게 대처할 수 있다. 예지 정비는 현재 가장 눈에 띄는 IIoT 사례이자 스마트 팩토리 확대 및 고도화를 위한 시작점이기도 하다. 시장 경쟁력을 높이려는 제조 기업이라면 가장 먼저 고려되는 단계다.