거대언어모델 연구가 뜨겁다. 2021년 1월 미국 인공지능(AI) 연구소 '오픈 AI'에서 거대언어모델 GPT-3 기반의 'DALL-E'와 'CLIP'를 발표했을 때만 해도 텍스트를 입력하고 이미지가 출력되는 인공 신경망인 멀티모달 모델이 신기할 뿐이었다. 불과 2년도 안 된 지금 그 끝을 모르는 트랜스포머 기반의 멀티모달 모델 확산과 고도화는 예상하지 못했다. 이 거대한 기술 진화는 콘텐츠 제작 환경에서 앞으로 다양한 변화를 가져올 것으로 기대된다. 무엇보다 인간의 상상력과 글쓰기 표현력이 음악, 시나리오, 뮤직비디오 등 모든 창작의 시작이 될 수 있기 때문이다. 텍스트가 중요해진 시대, 바로 프롬프트 프로그래밍 시대다.
프롬프트 기반 프로그래밍. 즉 글로 시작하는 프로그래밍은 텍스트 입력으로 컴퓨터 환경과 결과물을 제어하는 것이다. 프롬프트 프로그래밍 모델 중 텍스트 입력과 이미지 출력이 가능한 'VQGAN+CLIP'를 처음 사용했을 때 글로 표현된 내 상상이 이미지와 영상으로 현실화하는 놀라운 경험을 했다. 예를 들어 '표범을 닮은 카프리 해변 파도들'이라는 다소 황당한 텍스트를 입력해도 컴퓨터는 내 글에서 발견한 특징(표범, 해변, 파도 등 이미지 특징)을 미리 설정한 하이퍼파라미터 값으로 조정해서 이미지와 영상으로 만들어 냈다.
텍스트로 시작된 시각적 표현은 내용뿐만 아니라 스타일에도 적용된다. 상상을 글로 표현할 때 내가 원하는 이미지를 제대로 만들어 낼 수 있도록 최대한 자세하게, 컴퓨터가 이해할 수 있게 작성하면 더욱 정확한 결과물을 만들어 낼 수 있다. 예를 들어 '이 이미지는 언리얼 엔진을 사용한 것처럼 보였으면 좋겠어' '오일 페인팅 스타일로 만들고 싶어' 등 시각적 표현에 대한 부연 설명을 함께 입력하면 컴퓨터는 잊지 않고 결과 이미지에 반영한다.
한 걸음 더 나아가 최근에 사용해 본 'Disco Diffusion V5' 모델에서는 뎁스 맵(depth map)을 이용한 Z축 카메라 워킹 애니메이션까지 구현할 수 있었다. 내가 앞에서 만든 '표범을 닮은 카프리 해변 파도들'이란 영상 속으로 마치 걸어 들어가는 것처럼 입체적인 애니메이션이 단 몇 시간 만에 단 몇 개 문장에서 만들어진 것이다.
이처럼 텍스트 표현으로 놀라운 결과물을 만들어 낼 수 있는 신종 창작기술은 손쉬운 사용법과 브라우저 기반 실행 환경이 그 확산에 한몫했다. 예를 들어 앞에서 실험한 2개 모델 모두 개인 컴퓨터 환경에서 구동하려면 GPU 기반의 고사양 하드웨어와 여러 가지 필수 라이브러리·디펜던시 설치가 필요하다. 이는 컴퓨터 엔지니어가 아닌 일반인에게는 꽤 까다로울 수 있다. 저사양 노트북에서는 코드 실행조차 어렵기 때문에 환경 세팅 허들에 걸려 좌절하는 사람도 나온다. 하지만 브라우저 기반 실행 환경, 구글 colab 같은 클라우드 GPU 사용과 인터페이스는 인터넷 사용이 가능한 어떤 컴퓨터 환경에서도 실행할 수 있어 많은 사람이 다양한 방법으로 사용하고 있다. 서비스가 그렇듯 대개 무료로 할당되는 GPU의 불안정과 런타임 끊김 현상은 결국에 유료 서비스를 구독하게 만들지만 고사양 GPU를 월 몇 만원에 쓸 수 있다는 것은 접근 난도를 낮추고 환경 진화에 도움을 준다.
텍스트가 중요해진 프롬프트 프로그래밍에서도 커뮤니티 활동을 빼놓을 수가 없다. 많은 커뮤니티가 디스코드 또는 슬랙에서 집단을 꾸려서 정보를 공유하고 모델을 확산하며 서비스를 테스트하고 있는 점도 특별하다. 약간 과장하면 AI 기술을 활용한 콘텐츠 제작 산업 모두가 같은 방향의 미래를 향해 뛰어가며, 그 안에서 집단을 형성하고 있다. 키 플레이어들은 온라인 커뮤니티를 구성해서 서비스를 론칭하고, 어떤 서비스는 베타 테스트를 위해 커뮤니티 안에서 챗봇과 대화를 통해 프롬프트 입력과 출력을 실험하기도 한다. 이 특별한 커뮤니티에 가입하기 위해 내 온라인 활동력을 높이는 것은 필수 조건이 된다. 커뮤니티 안에서 챗봇 및 다른 멤버와 나누는 대화를 시작으로 만들어 내는 이미지라니. 복잡하고 귀찮은 프로그래밍 과정을 건너뛰고 초현실적 기호학으로 진입하는 프롬프트 프로그래밍은 '생각이 중요해'에서 '대화가 중요해'로 이동하는 시대가 되는 것은 아닐까.
민세희 경기콘텐츠진흥원장 sey.min@gcon.or.kr
