메타빌드의 고기훈 팀장을 만나 디지털 휴먼을 활용한 라이브 방송 및 음악 공연 서비스 ‘R2Mix’에 대한 이야기를 들어봤다.
Q. 메타빌드는 어떤 기업인지?
메타빌드는 1998년 설립해 현재 임직원은 약 300여명 정도이며 올해 매출 500억 원을 목표로 하고 있다. 주요 사업 분야는 현실과 디지털 세계를 연결하는 디지털 트윈 분야의 스마트시티, 교통, 자율자동차, 건설플랫폼과 디지털 휴먼 활용 분야 그리고 데이터 패브릭 슈트 제품군인 데이터 수집 및 연계 미들웨어, 데이터 허브, AI 플랫폼이다.
Q. R2Mix는 어떤 솔루션인지?
R2Mix는 리얼리티와 리얼 타임 구현을 목표로 하는 디지털 휴먼을 활용한 라이브 방송 및 음악 공연 서비스이다. 사용자는 이 디지털 휴먼을 자신이 원하는 형태로 헤어스타일이나 피부, 메이크업, 의상, 악세사리 등 다양한 커스터마이징이 가능하다. 또한 방송이나 콘텐츠 제작에 필요한 배경을 변경할 수 있다. 영상 합성에 사용할 수 있도록 크로마키 배경도 선택할 수가 있고 실재하는 다양한 실제 공간들 그리고 가상의 메타버스 공간들을 배경으로 사용할 수도 있다. 디지털 휴먼의 커스터마이징과 배경 선택이 완료되면 카메라 연결 기능을 활성화해서 간단하게 휴대폰이나 태블릿 카메라를 통해서도 디지털 휴먼과 실제 사용자간의 실시간 동기화가 된다. 이를 통해서 사용자의 몸짓이나 음성, 표정 등을 실시간으로 디지털 휴먼에 투영해서 다양한 콘텐츠 제작에 활용할 수 있다. 유튜브나 트위치 등과 같은 실시간 방송 플랫폼으로 직접 송출이 가능하며 미디어 콘텐츠 제작에 활용할 수 있도록 미디어 파일로도 저장할 수 있다.
Q. R2Mix의 특징은?
기존 AI 기반의 얼굴을 사람의 몸에 합성하는 제작 방식이 아니라, 전신을 풀 3D로 구현하고 모션 캡처 시스템과 뎁스(Depth) 카메라 인식을 통해서 실제 사람과 유사하게 표정과 몸짓을 구현하고 실시간 렌더링 환경에 최적화할 수 있도록 자체적으로 피부나 질감 쉐이더, 주름 맵 등과 같은 사실감 요소를 집중적으로 연구 개발했고 2D 기반의 미디어뿐만 아니라 3D 메타버스 공간상의 VR·XR 등 다양한 혀앹로도 디지털 휴먼이 존재할 수 있다. 또한 카메라 하나만으로 사용자가 손쉽게 디지털 휴먼과 연결이 가능한 인터페이스로 개발되어 기존의 디지털 휴먼 제작사를 통해서만 사용이 가능했던 가상 인간들을 사용자가 언제든지 원하는 콘텐츠 제작 분야에 활용 가능하다.
Q. R2Mix의 향후 계획은 어떻게 되는지
메타빌드의 R2Mix는 연말까지 1인 미디어 크리에이터 전문가와 협업을 통해 음악, 뷰티, 패션 등 6개의 분야별 실시간 방송을 시범 송출할 예정이다. 크리에이터로부터 다양한 부분에 대한 피드백을 받아 내년 상반기에 정식으로 서비스를 오픈할 계획이다. 정식 서비스 오픈 시기에는 보다 다양한 디지털 휴먼을 활용할 수 있도록 디지털 휴먼 수와 커스터마이징 요소들을 대폭 업데이트할 예정이다. 서비스 하반기에는 AI 음성 보컬 합성 기술을 본 서비스에 적용시켜 음악이나 공연 콘텐츠 제작에도 새로운 기능을 제공한다. 디지털 휴먼의 다양성과 활용 목적을 보다 폭넓게 반영하기 위해서 디지털 휴먼 제작 프로세스 표준화를 할 예정이다. 자체 스튜디오를 개발해 커스텀 제작이 손쉽게 가능하도록 하고 이미 다양하게 활동중인 디지털 휴먼들까지도 메타빌드의 서비스에서 활용이 가능하게끔 하는 프로세스를 구상하고 있다. 이를 통해 메타버스 산업에서의 디지털 휴먼 활용성을 극대화하고 디지털 콘텐츠 제작산업 활성화에 적극 기여하고자 한다.
전자신문인터넷 유은정 기자 (judy6956@etnews.com)