관련 통계자료 다운로드 세계 음악 생성형 AI 시장 전망
미국 시사주간지 '타임'이 지난해 9월, 세계 인공지능(AI) 분야 가장 영향력 있는 인물 100인을 선정한 '타임 100 AI 2024' 를 발표했다. 이 가운데 한국인 중 유일하게 포함된 이가 이교구 서울대 교수 겸 수퍼톤 대표다. 타임은 “K팝 산업은 미국보다 발빠르게 AI 기술을 다양하게 실험해오고 있다”며 “이런 변화 중심에 이 대표가 있다”고 평했다.
어린 시절부터 음악과 팝송을 좋아하던 소년은 공대 입학 후에도 음악 매력을 잊을 수 없었다. 세계 최고 공대인 스탠포드대에서 선택한 박사과정 전공도 '컴퓨터음악 및 음향학'이었다. 국내서 생소하던 음악 기술 영역을 개척하며 서울대 교수로 재직하던 중 2020년, AI 오디오 회사 수퍼톤을 창업했다. 그리고 4년만에 그는 젠슨 황 엔비디아 창업자, 마크 저커버그 메타 최고경영자(CEO)와 어깨를 나란히 하며 세계가 주목하는 AI 인물 100인에 선정됐다.
이 대표와 수퍼톤의 성장 가능성을 일찌감치 주목한 곳이 하이브다. 하이브는 당시 창업 2년밖에 되지 않은 수퍼톤을 인수하며 글로벌 AI 오디오 시장에 출사표를 던졌다.
이 대표는 “당시 여러 기업에서 AI 오디오 기술에 관심을 보였지만 하이브와 시너지 효과가 가장 클 것으로 예상했다”고 회상하며 엔터테인먼트 자회사지만 AI 기술을 선도하는 핵심 축이 될 것임을 자신했다.
대학교수 출신 창업자로 여전히 일주일에 두 세번 대학 강의도 이어가고 있다. 그가 처음 만들었던 서울대 음악오디오연구실은 수퍼톤 창업 일등공신이기도 하다. 연구실에서 연구한 결과물을 바탕으로 제품을 만들고 수퍼톤을 세상에 알렸다. 여전히 연구실을 운영하며 제2의 수퍼톤을 꿈꾸며 연구에 매진하는 학생을 지도하고 시시각각 변하는 기술 트렌드도 함께 공부하는 중이다.
타임 100인 선정 후 첫 언론사 인터뷰로 전자신문을 선택한 이 대표를 논현동 수퍼톤 본사에서 만나 AI 와 창업 등 우리나라 많은 스타트업과 기술기업에 전하는 이야기를 들어봤다.
-'타임 100 AI 2024' 선정에 대한 소회가 있다면.
▲샘 알트먼 오픈AI 창업자나 젠슨 황 엔비디아 창업자 등 유수 전문가와 함께 선정된 점은 큰 영광이다. AI 오디오 분야 독창성을 높게 평가해줬다고 본다. AI 기술 가운데 현재 가장 주목받는 분야가 거대언어모델(LLM)이다. 이를 통해 텍스트, 이미지 등 다양한 것을 생성할 수 있는데 우리는 음악에 이를 적극 적용중이다. 특히 지난해에는 하이브아티스트와 음성합성 기술을 통해 6개국 언어로 음원을 출시하고 디즈니의 '카지노' 영화에서 최민식 젊은 시절 목소리를 재현하는 등 실제 AI 음성 기술을 통한 혁신 사례를 여럿 보여줬다. 이런 부분이 콘텐츠 제작의 혁신을 줬다고 평가받았고 덕분에 100인 가운데 이름을 올릴 수 있었다 생각한다.
-AI 오디오는 어떤 영역인가.
▲AI 오디오는 다양한 곳에서 활용되고 있다. 예를 들어 영화에서 기차 소리가 필요할때 예전에는 직접 기차 음향을 녹음해와 적용했다면 이제 AI가 다양한 기차 소리를 생성할 수 있다. 텍스트로 '총소리'를 입력하면 관련 소리를 출력해주기도 한다. 주변 음성을 인식해 상황을 판단하는데 활용할 수도 있다. 사이렌 소리가 인식되면 위급 상황이라 인식하는 식이다.
세계적으로 미국이 가장 앞섰고 마이크로소프트, 구글, 메타, 아마존 등 웬만한 AI 기업은 AI 오디오 관련 기술을 보유·개발하고 있다. 시장도 무궁무진하다. 최근 현지화 작업이 떠오르는데 유튜버가 한국뿐 아니라 여러 나라 시청자를 상대로 그들의 언어로 얘기하는 방법이다. AI 기술을 적용해 해당 국가 현지 언어로 방송이 가능하다. 창작자 입장에선 같은 콘텐츠로 여러 국가에서 구독자 수를 늘릴 수 있다.
브이튜버(가상유튜버)를 위한 음성지원도 가능하다. 원하는 목소리를 AI가 구현해 생방송까지 할 수 있다. 우리도 이 제품을 선보였는데 일본 등 글로벌 반응이 좋다. 경쟁사 대비 지연 시간을 획기적으로 줄여 이용자 만족도가 높다. AI 오디오 영역에서 우리회사보다 기술, 가격경쟁력 등 여러 면에서 뛰어난 곳은 없다고 자부한다.
-AI 파운데이션 모델 '낸시'를 보유했다. 스타트업이 파운데이션 모델을 개발·유지하기란 자금 등 여러 측면에서 쉽지 않을텐데 왜 직접 파운데이션 모델 개발을 택했나.
▲창업 전 서울대 연구실에서부터 파운데이션 모델 연구를 지속했고 창업 후 이를 더 고도화했다. 파운데이션 모델을 개발·유지하기란 쉽지 않은게 사실이다. 그럼에도 모델을 고수했던 것은 강점이 많기 때문이다. 우선 우리만의 파운데이션 모델이 있기 때문에 원하는 서비스나 기술을 능동적으로 바꿀 수 있다. 다른 모델 종속성이 없다는 점도 강점이다. 타 서비스에 훨씬 빠르게 대항하면서 동시에 품질도 확보할 수 있다. 수퍼톤의 음성합성 파운데이션 모델을 통해 다양한 서비스를 빠르게 선보일 수 있었던 것도 우리만의 모델이었기에 가능했다.
-AI 저작권 문제는 세계적으로 이슈다. 수퍼톤도 '음성'이라는 콘텐츠 영역을 다루는만큼 저작권 문제에서 자유롭지 않을 것으로 보인다.
▲AI 기본법이 최근 국회를 통과하면서 AI 사업자의 책임도 강화됐다. 무조건 이용자들에게 저작권을 지켜라고 강요할 수 없다. 사업자도 역할을 해야한다. 이 관점에서 우리는 AI로 생성된 결과물에 워터마크를 부여하기 위해 지난 6개월간 기술개발을 해왔고 최근 이를 테스트 중이다. 내년 초부터 제품에 도입할 계획이다. 영상 못지 않게 오디오 딥페이크 문제도 심각하다. AI가 내 목소리를 흉내내 내가 하지 않은 이야기를 하는 식이다. 워터마크를 붙이게되면 이 음성이 AI가 만든 음성이고, 누가 어떻게 사용했는지까지 추적할 수 있다. 이를 통해 사용자 오남용도 줄일 수 있을 것으로 본다.
-지난해 K-콘텐츠 위기설 얘기가 많았다. 콘텐츠 사업자 입장에서 이 같은 시각에 동의하나.
▲실제 지표를 보면 우리나라 콘텐츠 산업은 성장 중이다. 다만 지난해 위기론이 불거진 것은 외국 거대 온라인동영상서비스(OTT) 플랫폼이 국내 시장도 장악하면서 콘텐츠 제작 시장이 많이 위축됐기 때문인 것으로 보인다. 이를 반대로 생각하면 기회가 될 수도 있다. 우리 콘텐츠가 국내 시장에 머물지 말고 글로벌 OTT를 통해 세계 시장으로 나가면 훨씬 큰 영향력, 수익을 거둘 수 있는 것이다. 이 기회를 잘 포착해 다시 성장하는 계기가 됐으면 좋겠다.
-지난해 이어 올해도 경기가 좋지 않을 것으로 예상된다. 많은 스타트업이 어려움을 겪을 것으로 예상되는데 현장에선 어떠한가.
▲우리 역시 하이브라는 거대 회사 자회사지만 긴장을 늦출 수 없다. 여러 스타트업 역시 비슷한 분위기라 생각된다. 이럴때일수록 정부 지원 프로그램이 중요하다. 우리회사도 창업 초기 중소벤처기업부, 과학기술정보통신부, 문화체육관광부 등 여러 부처에서 제공하는 지원 사업 혜택을 많이 받았다. 초기 스타트업에게는 정부 지원 프로그램이 가장 큰 울타리다. 특히 지금처럼 투자 여건이 좋지 않을 때 초기 벤처나 중소기업에게 정부 지원 프로그램이 중요하다. 이를 적극 활용하라고 얘기하고 싶다.
-어려운 시기일수록 어떤 부분에 정부나 기업이 더 주력해야한다고 보는가.
▲국가가 연구개발(R&D) 투자를 지속해야 한다. 지금은 대기업도 R&D 투자하기 힘든 시기다. 중소기업과 스타트업은 더 어렵다. R&D 없이는 창업도 지속될 수 없다. 우리도 2016년부터 3년간 한국연구재단 통해 AI R&D 사업을 지원받았다. 이 시기에 음성합성 AI 기술을 개발했고 이를 지속 고도화하면서 결국 이를 기반으로 창업까지 하게 된 것이다. 지금 경제 상황이 어렵다고 정부가 R&D까지 줄이게 된다면 창업 생태계가 무너지는 계기가 될 수도 있다. 정부가 공격적으로 R&D에 투자해야 이 기술을 통한 제품·사업화, 창업까지 이어지는 선순환 체계가 가능하다.
-15년간 학교에서 근무하다 5년 전 창업을 택했다. 기술창업을 준비하는 이들에게 조언한다면.
▲쉽지 않은 길이었다. 특히 규모가 점차 커질수록 인적자원(HR) 등 여러 관리 포인트가 생겼다. 이는 이 분야 전문가가 합류하며 해결해 나가고 있는 중이다. 기술기반 창업을 준비한다면 무엇보다 제품이나 서비스를 시장에 좀 더 빠르게 선보이라 얘기하고 싶다. 완벽한 기술을 개발한 다음 제품이나 서비스를 출시하면 늦을 수 있다. 너무 빠르게 기술이 변해서 아차하는 순간 이미 다른 곳에서 관련 제품이나 서비스를 출시할 수도 있다. 기술개발과 동시에 제품·서비스를 선보이고 피드백을 받으며 기술을 보완하는 방식으로 가는 것이 낫다.
-앞으로 비전은 무엇인가.
▲수퍼톤 비전은 창작자들이 상상할 수 있는 한계를 무한히 확장할 수 있는 기술을 만들자는 것이다. 상상에서만 가능했던 것들을 실제로 구현할 수 있는 기술을 개발하고 이를 제품·서비스화해 공급하는 것이 목표다. 글로벌 창작자 모두 언어에 관계 없이 새롭고 혁신적 콘텐츠를 만드는데 일조하고 싶다.
◎…이교구 수퍼톤 대표는
이교구 수퍼톤 대표는 1996년 서울대 전기공학부 학사를 거쳐 뉴욕대 뮤직 테크놀로지 석사, 스탠포드대 전기공학 석사, 스탠포드대 컴퓨터음악 및 음향학 박사를 받았다. 2010년대 한국으로 돌아와 서울대서 학생들을 지도하기 시작했다. 2016년부터 3년간 서울대 융합과학기술대학원 부원장을 지냈으며 2019년부터 지금까지 서울대 AI연구원 응용기술연구부장을 맡고 있다.
2020년 수퍼톤을 공동창업했으며 대표이사를 역임 중이다. 고인이 된 가수 김광석, 유재하, 터틀맨 등의 음성을 AI로 재현해 주목받았다. 수퍼톤이 선보인 AI 음성합성 기술은 목소리 생성과 실시간 변환 등 다양한 영역에서 활용되고 있다. 2023년 하이브가 수퍼톤 성공 가능성을 높게 보고 450억원을 투자, 지분 56.1%를 확보하며 최대 주주로 오르기도 했다. 하이브 인수 후에도 최고경영자(CEO)로 수퍼톤 기술·전략 등을 총괄하고 있다.
2023년부터는 서울대 인공지능 예술 연구 센터장으로 부임, 회사 경영과 함께 미래 인재 양성에도 힘쓰고 있다. 지난해 미국 타임지 선정 세계 영향력 있는 AI 100인 가운데 한국인 중 유일하게 포함됐다.
김지선 기자 river@etnews.com
