올해 전 세계에서 생성, 수집, 복사, 소비되는 데이터의 양은 전년 대비 23% 증가한 147 제타바이트에 달할 것으로 예상된다. 데이터는 가장 가치 있는 자산으로 시간이 지날수록 그 가치가 더해지고 있다. 최근 몇 년간 데이터는 비교적 단순한 업무에서 수집됐으나, 이제는 신약 개발, 개인 맞춤형 치료, 친환경적인 스마트 도시 개발 등 우리의 삶을 바꾸고 있다.
하지만 그 이면에는 빠른 속도로 증가하는 데이터 규모에 따라 데이터 저장, 분석에 대한 어려움이 존재한다. 이에 따라 기업은 데이터를 가치 있게 사용하기 위해 방대한 양의 데이터 저장소를 관리하고 데이터로부터 가치를 창출하기 위한 새로운 접근 방식을 도입하고 있다.
온프레미스, 프라이빗, 퍼블릭 클라우드에 걸쳐 존재하는 복잡한 IT 환경에서는 데이터를 효과적으로 관리하는 것이 더욱 중요하고 그에 비례해 어려움도 크다. 데이터의 위치가 분산돼 있고 서로 다른 인프라, 정책이 관여하기 때문이다.
기업은 비용 효율적인 방법으로 모든 직원이 정보에 입각한 의사 결정을 내릴 수 있도록 적절한 데이터를 적시에 적절한 사람에게 제공할 수 있어야 한다. 즉, 복잡한 데이터 보안과 거버넌스 규정의 범위 내에서 데이터를 셀프 서비스할 수 있도록 지원해야 한다.
오픈 데이터 레이크하우스는 데이터 레이크의 저장 기능과 웨어하우스의 클라우드를 통한 구조와 접근성을 결합했다. 이는 무제한에 가까운 스토리지, 확장 가능한 가상 컴퓨팅 성능, 비용 효율성과 높은 복원력을 제공한다.
이미 제조 분야에서 스마트 시티에 이르기까지 거의 모든 산업에서는 데이터 아키텍처를 통해 데이터를 최대한 활용할 수 있는 방법을 고심하고 있다.
제조 분야에서는 하이브리드 클라우드와 최신 데이터 아키텍처가 만나 IoT를 지원한다. 기업은 재고에 대한 더 나은 통찰력을 얻게 되고 더 빠른 프로세스도 구축할 수 있다. 이를 통해 공급망 중단과 시장 수요 변화에 빠르게 대응할 수 있으며, 소비자는 제품을 더 빠르게 받을 수 있다.
금융 분야에서는 고객과의 상호 작용을 실시간으로 분석해 모든 채널에서 관련 경험을 활용할 수 있다. 생성형 AI는 고객 챗봇을 개선하는 등 복잡한 작업을 개선하고, 거래를 실시간으로 예측, 분석해 의심스러운 활동과 사기 행위를 방지한다.
바이오 분야에서도 빅데이터를 통해 데이터 처리를 가속화하며, 예측 분석을 통해 장기 기증자 검색 속도를 높이고, 맞춤형 치료로 더 많은 생명을 구할 수 있다. 제약 분야에서도 더 많은 생명을 구할 수 있는 새로운 치료법을 개발하고, 빠른 출시를 위해 R&D와 신약개발을 최적화한다.
통신 분야에서는 기존 사일로를 허물고 AI 분석을 지원해 통신사가 고객, 네트워크 운영, 서비스를 전부 파악할 수 있도록 돕는다. 장애를 빠르게 감지해 네트워크 성능을 개선하고 정확한 고객 프로파일링을 통해 최적화된 서비스 경험을 제공할 수 있다.
스마트 시티 분야에서는 대량의 비정형 데이터를 수집, 저장, 분석할 수 있다. 클라우드의 에너지 효율과 데이터 기반 인사이트 개발을 강화한다면, 탄소 배출량 감소는 물론 범죄와 교통 혼잡 등에 대한 실시간 데이터를 분석하고 조치를 취할 수 있는 스마트 시티를 구축할 수 있다.
기업이 매 순간마다 생성하고 수집하는 데이터를 활용할 수 있다면 무궁무진한 사업, 운영 잠재력을 현실로 만들 수 있다. 따라서 데이터 양과 복잡성이 증가할수록, 데이터 사일로를 없애고 비용 효율적으로 적절한 데이터를 적시에 적절한 조직에게 제공하는 하이브리드, 멀티 클라우드 데이터 플랫폼이 그 진가를 발휘할 것이다.
최승철 클라우데라코리아 지사장 scchoi@cloudera.com