[ET단상]상호 결합된 데이터베이스의 힘, 데이터 패브릭

권동수 효성인포메이션시스템 전문위원

지난 수년간 코로나 팬데믹의 영향으로 기업의 디지털 전환이 가속화되고 데이터의 양도 폭증해 기업의 데이터 전략에도 큰 변화가 일고 있다. 글로벌 시장조사기관 스태티스타(Statista)는 기업의 데이터 규모가 지난 2년간 연평균 42.2%로 크게 성장했다고 예측했다. 산업 유형이나 규모에 상관없이 많은 기업들이 워크로드를 클라우드로 옮기고, 비즈니스 복원력의 핵심인 데이터 전략을 활용해 긍정적 변화를 만들기 위해 노력하고 있다.

애자일 데이터옵스를 위한 '데이터 패브릭'
지난 10년간 데이터가 폭발적으로 증가하고 그 성격도 복잡해지면서 기업은 데이터를 효과적으로 관리하고 사일로(Silo)를 최소화하는 문제에 직면했다. 데이터 홍수 속에서 기업은 실제 비즈니스에 중요한 인사이트를 주는 데이터를 확보하기 위해 고군분투 중이다. 그러나 광범위하게 분산된 데이터의 효율적인 활용 방안을 마련하고 높은 가치의 데이터를 확보하는 일은 쉽지 않다.

데이터 패브릭(Data Fabric)은 직물처럼 교차되어 엮어진 연결망의 특성에서 이름을 따온 것으로, 데이터 태그 관리를 기반으로 데이터 활용성을 높이고 비즈니스 가치 창출을 위한 데이터 플랫폼의 새로운 디자인 컨셉이자 아키텍처 전략이다. 에지 투 클라우드 환경에서 어디서든 손쉽게 데이터에 접근하고 공유할 수 있는 일관된 데이터 관리 프레임워크를 구축하도록 해준다.

컴퓨터 과학은 추상화(abstraction)를 좋아하며 이는 데이터 관리에도 적용된다. 데이터 관리 영역에서 추상화를 늘리는 것은 더 이상 데이터 저장소와 직접 상호작용하지 않도록 프로그램을 변경한다는 것을 의미한다. 데이터 패브릭은 추상화를 활용해 어떠한 저장소라도 동일 인터페이스 방식을 제공, 사용자가 원하는 데이터에 신속하게 액세스하도록 한다. 복잡하고 다양한 각 시스템별 애플리케이션에 접근하는 대신 데이터 카탈로그의 태깅 및 검색 기능을 활용해 원하는 데이터의 위치를 즉시 알아내고 활용할 수 있다.

기업은 데이터 패브릭으로 더욱 스마트한 의사결정을 내릴 수 있다. 수개월이 아닌 단 며칠의 짧은 기간 내 애플리케이션을 배포해 경쟁 우위를 점하고, 데이터센터 및 클라우드 인프라에서 핵심 정보를 격리시키는 데이터 사일로를 제거할 수 있다. 비정형 데이터와 정형 데이터를 융합해 더욱 포괄적인 분석과 인사이트를 생성하고, IT 및 비즈니스 조직 간 협업을 개선할 수 있다. 데이터 중복을 줄여 전사적으로 일관되고 신뢰 높은 데이터 사용을 보장한다.

데이터 계층 이해하기
데이터 패브릭은 상이한 데이터 소스를 지능적으로 관리 운영하는 현대적인 아키텍처다. 데이터 소스를 컨텍스트 기반으로 안전하게 통합해 셀프서비스를 가능케 하고 광범위한 애플리케이션, 운영 워크로드, 분석, 활용 사례를 지원하는 프레임워크다.

데이터 관리 계층은 데이터 패브릭의 엔드투엔드 통합을 용이하게 하고, 데이터 환경 전반에 일관되고 동일한 데이터 거버넌스 및 통합 프레임워크를 제공한다. 다른 계층은 조정, 통합, 데이터 변환, 데이터 준비, 데이터 모델링 방식 등을 담당한다.

이러한 계층적 접근 방식으로 기업은 사전에 모든 것을 준비해 한 번에 배포하는 대신 짧은 시간 동안 조금씩 한정된 요구조건을 해결하고 시간이 지날수록 이를 확대해 나갈 수 있다. 데이터 패브릭은 설계상 코드가 적거나 심지어 아예 없어 새로운 데이터 소스를 효과적으로 가져올 수 있다. 데이터를 자동 식별하고 변환할 필요가 있는 데이터를 파악하며 특정 워크로드를 지원하는데 적합한 데이터를 파악하는 등 인텔리전트한 시스템 활용이 가능하다.

데이터 품질 향상과 함께 기업 데이터 통합
디지털 전환 과정에서 핵심은 효과적인 데이터 관리다. 데이터 기반을 잘 구축하면 기업은 데이터를 수익화하고 비즈니스 목표 추진에 적용시키는 능력과 민첩성을 개선할 수 있다.

데이터 패브릭은 온프레미스부터 멀티 클라우드 환경까지 차세대 전사적 데이터 관리와 제공을 간소화하고 통합하는 진화하는 개념이다. 데이터 접근 및 변환의 복잡성을 제거해 사용자의 능력을 강화하는 방식으로 코어, 에지, 클라우드의 데이터를 연결한다면 데이터 패브릭을 구축하는 것으로 볼 수 있다.

데이터 패브릭은 데이터 레이크, 데이터 웨어하우스, 데이터 허브, 데이터베이스 등 레거시 데이터 관리 관행을 수용하면서 데이터 저장, 이동, 변환, 보안, 처리의 복잡성을 단순화하고 자동화해야 한다. 효과적인 데이터 패브릭은 데이터 소스에 연결하는 것부터 최종 사용자가 다양한 활용 시나리오에서 소비할 데이터를 가져오고 조정하는 것에 이르기까지 데이터 관리 운영을 자동화한다.

효성인포메이션시스템은 데이터 레이크를 지원하는 루마다(Lumada) 포트폴리오를 통해 체계적인 데이터 관리 역량을 제공한다. 루마다 포트폴리오를 활용하면 멀티 클라우드 패브릭을 관리하고, 데이터 관리 및 보호를 가속하며, 현대적인 분석과 데이터 과학 인프라를 구현할 수 있다.

효성인포메이션시스템, 루마다 데이터옵스 포트폴리오

최근에는 루마다 데이터 옵스 포트폴리오에 업그레이드된 데이터 카탈로그 버전 7을 발표하며, 데이터 패브릭을 최적화하고 기업이 데이터 옵스(DataOps) 여정에서 큰 진전을 이루는데 필요한 여러 혁신 기능을 지원한다.

기업들은 데이터 소스의 개수와 다양성을 늘리는 데 있어 엄청난 진전을 거두고 있다. 이 모든 여정은 시작에 불과하다. 우리는 앞으로 발생할 많은 데이터에서 기업의 생존을 책임질 가치 있는 데이터를 더욱 손쉽게 발견하고 관리할 수 있도록 진화하는 데이터 패브릭을 주목해야 한다.

권동수 효성인포메이션시스템 데이터솔루션팀 전문위원 his-dskwon@hyosung.com