마블 히어로는 곧 딥페이크로 제작될지도 모른다

컴퓨터 그래픽 컨퍼런스에서 디즈니 리서치 스튜디오가 고화질 신경망 얼굴 교체법(High-Resolution Neural Faces Swapping for Visual Effects)을 발표했다. 논문은 링크에서 내려받을 수 있다.

결과물은 딥페이크에 비해 상당히 자연스럽다. 딥페이크는 오픈소스로, 256 x 256 해상도만 지원할 수 있다. 따라서 썸네일 수준의 작은 크기에서만 자연스럽게 움직인다. 디즈니 리서치가 개발한 얼굴 교체 솔루션 해상도는 1024 x 1024로, 스마트폰이나 일반적인 모니터 정도의 해상도를 커버할 수 있다.

방식은 딥페이크와 유사하지만 디즈니가 지금까지 사용한 영화의 방식도 도입했다.

디즈니 산하 마블은 헐크, 타노스 등 실사로 촬영할 수 없는 캐릭터를 만들어낼 때, 연기자의 얼굴에 마커를 붙이고 전체적인 움직임을 파악한다. 별도로 만들어낸 3D 캐릭터를 배우의 움직임에 동기화하는 것이다. 울트론 등 대부분의 캐릭터가 이런 방식으로 만들어진다.

윌 스미스 주연의 영화 ‘제미니 맨’에서도 같은 방식을 사용해 젊은 윌 스미스 배우를 재창조한 바 있다.

마블의 경우 배우의 얼굴을 젊게 만들 때는 얼굴을 재창조하는 게 아닌 보정하는 식의 디에이징(De-Aging)을 사용한다.

https://www.instagram.com/p/BtUgjsan-JG/

‘어벤져스: 엔드게임’에서 노인이 된 캡틴 아메리카가 등장하는 방식은 디에이징과 유사하다. 노인 배우가 마커를 붙인 뒤 촬영하고, 카메라로 인식한 뒤 역시 마커를 붙여 촬영한 크리스 에반스의 얼굴을 붙이는 것으로 대체했다. 이것은 3D 캐릭터를 만든 것이 아니므로 CG로 부르지는 않는다.

스파이더맨이 나오는 어떤 장면은 배우가 연기하지도 않고, 배경도 만들어내 목소리를 제외한 모든 장면이 CG인 경우도 있다. 이 경우 실사 영화와 애니메이션의 차이가 모호해진다.

이 장면의 스파이더맨은 사람이 연기한 게 아닌 100% CG이며 그 뒤의 여러 장면에서도 CG 스파이더맨이 등장한다. 이유는 영화 촬영이 톰 홀랜드 캐스팅 전에 이뤄졌기 때문이다 via GIPHY

영화 데드풀의 오프닝 장면도 대부분 CG를 통해 만들어졌다

두명의 캡틴 아메리카가 등장하는 장면은 대부분이 CG고 한명은 연기자가 연기한 뒤 크리스 에반스의 얼굴을 합성한 것이다

그러나 디즈니의 새 방식을 사용하면 손쉽게 얼굴을 교체할 수 있을 전망이다. 타노스 등의 CG 캐릭터가 아니라면 더 쉽다.

기존에는 마커를 붙여 얼굴의 위치를 파악했다고 하면, 디즈니의 새 방식은 피합성자의 얼굴 위치를 자동으로 파악한다. 즉, AI가 얼굴 각 부분을 자동으로 파악하고 가상의 마커를 붙인다고 볼 수 있다. 또한, 합성자의 얼굴 위치도 동일한 방식으로 파악한다. 따라서 마커를 붙이는 두개의 과정, 마커를 3D로 인식하는 두개의 과정이 사라진다.

이를 디즈니는 커먼 인코더(마커 인식)-디코더(얼굴 교체)의 과정으로 표현했다. 인코딩은 피합성자 한명이지만, 디코딩에서는 여러 명의 얼굴을 붙일 수 있다.

단순히 얼굴만 교체하는 것이 아니라 프로그레시브 트레이닝을 통해 타깃 얼굴 방향에 맞춰 얼굴 방향이나 각도 등도 조정한다. 컬러 보정 역시 비슷한 방법으로 진행된다.

그러나 아직은 실제로 영화에 사용하기에는 무리스러울 수 있다. 타깃과 모델이 바라보는 방향이 비슷해야 하며, 얼굴 각도가 다를 경우 실패 사례가 존재하기 때문이다. 또한, 급격한 표정 변화나, 머리카락이 사람을 가릴 때, 너무 어두울 때, 손 등이 얼굴을 가릴 때 실패 사례가 존재한다고 논문은 밝히고 있다.

이 연구 방법은 다양한 의미를 담고 있다. 얼굴 교체가 상당히 발전할 경우 앞으로는 배우가 직접 현장 촬영에 나오지 않아도 영화를 만들 수는 있다는 뜻이 된다. 스파이더맨의 사례에서처럼 완전히 CG로 제작할 수 있는 장면이 존재하므로, 배우는 얼굴만을 제공할 수도 있다. 그러나 영화에서 배우의 매력이 주는 영향이 상당하므로 그런 일이 벌어지지는 않을 것이다. 어찌 됐든 영화 촬영의 비용이 감소하고, 그 절감된 비용으로 더 많은 영화가 제작될 것으로 예상할 수 있다.

또한, 각종 범죄에 사용되는 딥페이크와 달리 디즈니 연구팀의 것은 오픈소스가 아니다. 따라서 영화사의 정해진 목적에 따라서만 사용될 것임을 예상해볼 수 있다.

그리고 의외로 CG가 아닌 배우와 특수분장팀의 고생으로 만들어지는 캐릭터들도 있다.

글. 바이라인네트워크
<이종철 기자> jude@byline.network