‘만찢남 아이돌’ 플레이브 속 깜놀할 언리얼 기술

버추얼(가상) 아이돌 ‘플레이브(PLAVE)’의 인기가 심상치 않다. 예준, 노아, 밤비, 은호, 하민 5명의 멤버로 구성된 블레이브는 만찢남(만화를 찢고 나온 남자) 아이돌로도 불린다. 지난 9월 경사가 있었다. 실시간 음악차트인 한터차트에서 그룹 방탄소년단(BTS)과 함께 월간 차트 1위에 오른 것. 버추얼 아이돌의 인기가 현실 아이돌을 뛰어넘거나 어깨를 나란히 했다. 팬덤의 정품 앨범 인증 참여로 집계되는 인증차트에서 버추얼 아이돌이 월간 1위에 올랐다는 것은 특별한 기록이다.

스타트업 블래스트가 만든 플레이브는 버추얼 아이돌 중에서도 눈에 띈다. 풀3D 캐릭터가 아닌 애니메이션 만화 스타일이다. 게다가 실제 사람이 캐릭터를 맡고 있다. 후가공 없이 수시로 라이브 방송을 진행하고 팬들과 직접 소통한다. 사람이 라이브로 움직이는 입 모양, 표정, 제스처까지 실시간으로 캐릭터 모션 구현이 가능하기 때문이다. 이러한 기술력 뒤에는 에픽게임즈의 ‘언리얼 엔진’이 있다.

또 다른 버추얼 아이돌인 ‘메이브(MAVE:)’도 언리얼 기술로 만들어진다. 넷마블에프앤씨가 만드는 메이브는 플레이브와 달리 풀3D 가상 캐릭터로 구성돼 있다. 초고품질을 지향하는 까닭에, 업계에서 ‘뷰티 라이팅’으로 불리는 리라이팅 작업이 필수적이다. 무대 조명을 비롯해 다양한 반사광까지 신경 써가며 캐릭터가 가장 예쁘게 보일 수 있는 장면을 완성한다. 회사는 강연을 통해 언리얼 레벨 시퀀스 시스템을 통해 적은 인원으로 많은 영상을 효율적으로 관리할 수 있어 적기에 결과물을 만들어낼 수 있었다는 경험담을 전한 바 있다.

<참고기사: 팀 스위니가 반한 걸그룹? ‘메이브’, 국외서 더 인기>

후가공 필요 없는 언리얼 리타기팅

블래스트가 플레이브를 제작할 때 가장 많이 사용하는 기술이 ‘모션캡처’다. 모션캡처 자체는 영상업계에서 오래전부터 사용되어 오던 기술이다. 20년 전 ‘반지의 제왕’의 골룸을 연기하던 모션캡처 기술과 원리 측면에서는 여전히 동일하다.

먼저 배우의 연기를 모션캡쳐 시스템이 녹화한 후 모션 데이터를 3D 프로그램으로 가져와서 애니메이터들이 이를 캐릭터에 어울리는 애니메이션으로 후가공을 해 최종 영상물을 제작한다.

보통 배우와 가상 캐릭터 사이에는 신체 비율 등 차이가 존재한다. 이 경우 배우의 연기를 캐릭터에 그대로 적용할 경우 대단히 어색하다. 이를 애니메이터들이 후가공 작업으로 데이터를 캐릭터에 어울리도록 고치게 된다. 모션캡처 녹화부터 최종 영상물에 이르기까지의 작업이 아무리 짧아도 며칠씩 걸리는 이유다.

하지만 실시간으로 진행되는 버추얼 라이브 환경에서는 애니메이터에 의한 후가공 공정이 들어갈 틈이 없다. 이런 프로세스에서는 기존에 사람이 해주던 후가공 공정을 대신해 줄 ‘실시간 리타기팅’ 기술이 필수다. 리타기팅은 모션 데이터를 캐릭터에 실시간으로 적응하기 위한 기술이다.

이러한 기술 적용에도 난관이 있다. 캐릭터와의 비율 차이 등 오차를 보정하는 작업이 자동화돼야 한다. 한동안 실시간 모션캡처 프로세스 중 가장 큰 기술적 공백이 바로 이 부분이었다.

블래스트는 이러한 문제를 언리얼 엔진으로 풀어냈다. 리타기팅을 거치지 않은 양질의 원본 데이터를 그대로 언리얼 엔진의 라이브 링크로 스트리밍하고 언리얼 내부에서 자체 리타기팅 솔루션을 새로 만든 것이다.

언리얼은 신체 간섭 문제를 회피하기 위한 ‘실시간 간섭 회피 솔루션’도 갖추고 있다. 원본 모션캡처 데이터를 그대로 캐릭터에 적용할 경우, 자칫하면 손이 배를 파고들거나 팔이 골반을 뚫고 나오는 일이 발생한다. 블래스트는 매 프레임 충돌을 회피하기 위한 벡터를 계산해 적용하는 등의 기술을 통해 배우의 자유를 제한하지 않으면서도 역동적인 춤동작도 마음껏 보여줄 수 있게 됐다.

캐릭터 스케일 보존 기능을 통해 캐릭터의 스케일을 전혀 건드리지 않아도 되게끔 했으며, ‘Ref-pose 캘리브레이션’ 기술을 통해 배우에게 붙이는 마커의 위치 때문에 발생하는 문제도 해결했다. ‘풋 IK 보정’ 기술로는 멤버들이 현란한 춤을 춰도 발이 항상 지면에 자연스럽게 접지될 수 있도록 했다.

프로젝트 기능별 모듈화…병렬 작업으로 속도↑

블래스트는 플레이브의 시네마틱 영상을 제작하면서도 동시에 매주 네 시간 이상의 라이브 방송을 해오고 있다. 시네마틱과 라이브라는 완전히 다른 두 개의 작업이 동시에 진행한다. 버추얼 IP 중에서 이렇게 시네마틱과 라이브를 동시에 자주 진행하면서도 고품질을 유지하는 사례는 세계적으로도 찾을 수가 없다.

이런 작업들은 통합된 흐름 안에 있으면서도 일정 부분부터는 각자의 작업으로 분리될 수 있는 병렬 파이프라인이 필수적이다. 언리언 엔진이 이러한 파이프라인을 기술적으로 지원한다. 블래스트는 언리얼 엔진 파이프라인 내에서 프로젝트 내의 모든 기능을 각각의 목적에 따라 플러그인으로 모듈화해서 이러한 문제들을 해결했다.

디지털 휴먼, 몇 분이면 만든다

앞서 에픽게임즈는 ‘메타휴먼’ 기술을 선보였다. 버추얼 휴먼 제작에 있어 시간과 비용을 획기적으로 줄일 수 있는 기술이다. 2021년 ‘메타휴먼 크리에이터’의 얼리액세스 버전, 2022년 언리얼 엔진용 신규 메타휴먼 플러그인 ‘메시 투 메타휴먼’을 지원하는 메타휴먼 프레임워크를 출시한 데 이어 올해에는 단 몇 분만에 페이셜 애니메이션을 제작할 수 있는 ‘메타휴먼 애니메이터’를 선보였다.

메타휴먼 애니메이터는 아이폰이나 스테레오 헤드 마운트 카메라 시스템으로 배우의 연기를 캡처하고 모든 메타휴먼 캐릭터에 페이셜 애니메이션으로 적용할 수 있는 신기술이다. 몇 주에서 몇 개월이 소요되기도 하는 디지털 휴먼 제작 시간을 몇 분 이내로 단축한 것은 물론, 전례 없는 수준의 고품질과 충실도 그리고 사실감을 구현해 낸 것이 주요 특징이라고 회사 측은 내세웠다.

메타휴먼 애니메이터로 캡처한 페이셜 애니메이션은 몇 번의 클릭으로 모든 메타휴먼 캐릭터나 새로운 메타휴먼 페이셜 디스크립션 표준을 채택한 캐릭터에 적용할 수 있다. 애니메이션 데이터는 언리얼의 컨트롤 릭(Rig, 모델 움직임과 뼈대를 연결하는 작업)을 사용해 정확하고 손쉽게 애니메이션을 조정할 수 있다.

캡처한 애니메이션 데이터는 타임코드를 지원한다. 작업자는 페이셜 애니메이션뿐만 아니라 보디 모션캡처와 오디오를 쉽게 연동해 보다 완벽한 캐릭터 퍼포먼스를 구현하거나, 오디오 데이터를 사용해 사실적인 혀 애니메이션도 제작할 수 있다.

글. 바이라인네트워크
<이대호 기자>ldhdd@byline.network