[스페셜리포트]데이터 패브릭 시대 온다

기업의 디지털 전환(DX)으로 데이터가 폭발적으로 증가하고 있다. 기업이 데이터를 어떻게 활용하느냐에 따라 비즈니스 성공 여부를 좌우한다고 해도 과언이 아니다.

수많은 데이터 중 가치있는 데이터를 빠르게 효율적으로 확보, 적재적소에 활용하는 게 중요한 이슈로 부상했다.

'데이터 레이크'(Data lake)를 넘어 '데이터 패브릭'(Date fabric)이 주목받는 배경이다.

데이터 레이크는 데이터 웨어하우스에서 진화된 기술이다. 데이터 웨어하우스는 정제된 정형 데이터만 보관한다. 데이터 레이크는 정형·반정형·비정형 등 제한 없이 모든 데이터를 보관한 저장소다. 로우 데이터를 저장하기만 하면 언제든지 정제·가공 가능하다.

하지만 사용성이 떨어지는 수많은 데이터를 저장해 '데이터의 늪'에 빠질 가능성이 있다. 다른 요구사항을 가진 비즈니스 부서 내에 데이터를 효율적으로 공급하는 것과 방대한 데이터를 관리하는 것이 힘들어지면서 데이터 패브릭이 등장했다.

데이터 패브릭은 데이터를 모으는 데 주력했던 기존 방법론과 달리 데이터를 정리해 원하는 데이터에 쉽게 접근하는 전략을 말한다.

데이터 패브릭은 방대하고 다양한 데이터를 하나의 확장 가능한 플랫폼으로 통합시켜 보안이 보장된 상태에서 쉽게 데이터에 접근하고 이동이 가능한 환경을 제공하는 아키텍처 전략으로, 클라우드 전환 등 더욱 복잡해지는 IT 환경에서 가장 효율적인 데이터 관리 기술로 주목받고 있다.

데이터 패브릭은 탄탄하게 짜인 면직물처럼 데이터를 어디서든 사용할 수 있도록 만드는 작업이다. 모든 데이터를 하나의 확장 가능한 플랫폼으로 통합시킨 다음 데이터가 어디에 저장돼 있는지 상관없이 이를 모니터링하고 관리할 수 있다. 데이터 활용성을 개선하고 관리 작업 노력을 최대 70%까지 줄일 수 있는 게 특징이다. 멀티클라우드를 사용하는 기업에서 데이터 패브릭을 사용하면 산재된 데이터의 복잡성을 해소하고 데이터 접근을 간소화할 수 있다.

전문가는 “데이터 패브릭은 기업의 데이터 접근 및 변환의 복잡성을 제거한다”며 “데이터 패브릭으로 기업은 스마트한 의사결정이 가능하다”고 단언했다. 비정형 데이터와 정형 데이터를 융합, 종합적 분석과 인사이트를 생성하고 IT 및 비즈니스 조직간 협업을 개선할 수 있다는 것이다. 데이터 중복을 최소화해 기업 내 일관되고 신뢰도 높은 데이터 사용도 가능하다고 덧붙였다.

데이터 패브릭에서 중요한 것은 가상화(Virtualization), 카탈로그 기술이다. 데이터 가상화는 다양한 데이터를 복사하거나 물리적 이동 없이 하나의 데이터로 빠르게 통합하는 기술이다. 데이터 이동 없이 가상의 저장소를 만들어 원천 데이터를 활용하는 개념이다. 외부 소스 데이터에 빠르게 직접 액세스할 수 있는 데이터 가상화 계층(레이어)을 제공한다.

데이터 카탈로그는 메타데이터를 수집해 데이터를 품질에 따라 분류하는 것이다. 머신러닝(ML)을 이용해 카탈로그를 뒤져 데이터의 위치, 속성, 사이즈 등을 알 수 있도록 가상화 레이어를 연결해 데이터를 가져오는 기술이다.

데이터 메시(Data Mesh)는 데이터 분석 시스템을 분산된 서비스 형태로 개발 관리하는 아키텍처 모델이다. 기업 내 서로 다른 부서에서 발생하는 데이터간 일관성을 확립하는 것이 목적이다.

데이터 패브릭이 중앙 집중식이라면, 데이터 메시는 탈중앙화 특징을 갖고 있다. 두 기술은 궁극적으로 흩어진 비즈니스 데이터에 사용자가 즉시 접근해 가치 있고 실행 가능한 인사이트를 도출하도록 돕는 것이 목표다.

글로벌 시장조사기관인 포춘 비즈니스인사이츠는 세계 데이터 패브릭 시장 규모가 지난 2021년 14억3000만달러(약 1조9509억원)에서 2029년 69억7000만달러(약 9조5133억원) 규모에 달할 것으로 전망했다. 연평균 22.3%(CAGR) 추세로 성장할 것이라 예측했다.

또 다른 글로벌 시장조사기관 마켓츠앤마켓츠 역시 세계 데이터 패브릭 시장 규모가 2020년 10억달러(약 1조3990억원)에서 2026년 42억달러(약 5조8758억원)로 연평균 26.3% 성장할 것으로 예상했다.

엔터프라이즈 기업에서 데이터 패브릭 활용은 가속화될 것으로 예상된다. 일부 국내 보험사는 자동차 사고 보험 심사를 위해 이미지 데이터를 활용해 분석한다. 차량 사진을 통해 사고 부위를 보거나 오토바이가 영업용인지 비영업용인지 구분한다.

가트너는 8월 발표한 '2022 매직 쿼드런트 데이터 통합 툴' 보고서에서 “멀티클라우드·하이브리드 데이터 통합 및 데이터 패브릭 디자인 패턴에 대한 요구사항이 생기면서 데이터 통합 툴 시장이 새로운 모멘텀을 확보했다”고 밝혔다.

송혜영기자 hybrid@etnews.com