화면 속 당신은 진짜인가

본 기사는 <캡틴 아메리카: 시빌 워>에 등장한 증강현실 기기 B.A.R.F.를 다루고 있습니다. 해당 영화를 보지 않으신 분은 원치 않는 정보에 노출될 수 있습니다. 또한 그 기기와 관련이 있는 다른 영화를 본 독자 여러분도 기기에 대한 언급을 하지 않아 주시길 기원합니다.

 

#1 시선 보정

화상통화에는 본질적인 문제가 있다. 화면에 있는 상대방이나 자신의 얼굴을 보면, 상단에 있는 카메라와 눈이 맞지 않는다. 수신자는 이 화면을 보며 상대방이 보는 느낌을 받지 않는다.

애플은 iOS 13의 기능 중 하나로 페이스타임 초점 보정을 넣었다. 퍼블릭 베타에 들어간 기능으로, 통화자의 눈 위치를 실시간 보정해 사용자가 화면을 보는듯한 효과를 구현했다. 중요한 건 이것이 영상통화 중 실시간으로 구현된다는 것이다. 사진을 보면 실제로 카메라를 보는 것보다 더 전면을 바라보는 느낌이다. 카메라를 보는 것은 상단을 보는 것이고, 전면을 보는 것은 카메라보다 시선이 아래를 향하고 있다. 눈동자 위치는 이처럼 ‘실제로 서로 바라보는 것처럼’ 구현된다. 카메라와 화면 어디의 위치도 아니다.

즉, 이 시선은 가짜다. 그러나 진짜보다 더 따뜻한 느낌을 준다.

 

#2 아놀드 슈워제네거의 ‘강림’

영상에서 빌 헤이더의 얼굴은 슈워제네거로 여러 번 변합니다. 가장 빨리 변하는 시점은 0:12

코난 오브라이언 쇼에 등장한 미국 코미디언 빌 헤이더(Bill Hader)는 쇼에서 아놀드 슈워제네거의 성대모사를 하는 것도 모자라 얼굴도 슈워제네거로 변신한다. 이 영상은 사실 체코의 한 엔지니어가 빌 헤이더의 얼굴 위에 슈워제네거의 얼굴을 합성한 것이다.

기존의 CG는 사람이 직접 이미지를 수정했다면, 최근의 기술인 딥페이크는 컴퓨터가 직접 합성하는 과정을 거친다. 유명인의 영상이나 이미지에서 얼굴을 학습하고, 이를 다른 얼굴 위에 같은 표정으로 입힌다. 주로 유명인이 합성의 타깃이 되는 이유는 그만큼 얼굴에 대한 정보가 많이 알려져 있기 때문에.

현재의 딥페이크는 주로 이목구비만을 교체한다. 헤이더는 슈워제네거보다 덩치도 작고 얼굴 선도 다르다. 따라서 이 합성은 진짜 슈워제네거로 보이지 않는다. 그러나 표정의 자연스러움만큼은 완벽하며, 추후 얼굴형까지 보정할 수 있는 기술이 나올 수도 있다.

딥페이크는 현재 초상권 문제로 불법의 소지가 있다. 그러나 정치인 등에 악용됐을 때 불법임이 밝혀지기 전에 특정사안에 대한 의사결정이 끝날 수도 있으며, 연예인이나 일반인 모두 딥페이크에 합성을 당한다면 그 정신적 충격이 상당할 것이다. 최근엔 일반인의 몸 사진을 배우의 몸으로 바꿔치기해주는 사이트가 등장했다 여론의 뭇매를 맞은 적도 있다.

딥페이크는 가짜다. 그러나 사람들은 과연 진짜를 찾는 것일까. 믿고 싶은 가짜를 믿을 때도 많지 않을까.

 

#3 픽셀 나이트 사이트

카메라는 흔히 빛의 예술로 불린다. 빛에 가장 큰 영향을 받고, 이 빛을 잡아놓기 위해 많은 장치를 사용한다. 피사체는 쉴 새 없이 움직이고 우리는 그 찰나의 빛을 가두기 위해 애를 쓴다. 그러나 노출을 늘리면 피사체가 흔들려 원치 않는 사진을 얻게 된다. 해결법으로는 HDR+를 사용한다. 짧은 촬영 순간 노출을 늘려 여러 프레임을 합성하는 기술을 쓴다. 밝은 부분은 밝게, 어두운 부분은 덜 어둡게 혹은 더 어둡게.

유일한 해결책 같은 HDR은 그럼에도 완벽하진 않다. 카메라가 보는 색상의 범위는 인간의 눈보다 현저하게 좁아서 컬러를 보고 이것을 디지털 이미지로 만들어주는 과정에서 문제가 발생한다. 이를 보정하기 위해 HDR의 규격을 지정하는 UHD 얼라이언스는 기본적인 사물들의 메타데이터에 대한 컬러 지침을 지정하고, 이 지침을 통해 화면에 실물과 비슷하게 보이도록 만든다.

구글은 이 규약을 지키지 않는다. HDR은 어쨌든 어두운 사진의 노이즈를 완전히 극복해내지 못했다. 구글은 딥러닝을 통해 자동 화이트 밸런싱(Auto White Balancing) 알고리즘을 짜고 이것을 기계가 학습하도록 했다. 균형이 맞는 사진과 그렇지 않은 사진을 구별하도록. 그러니까 이 과정은 HDR과 비슷하지만 구글은 ‘사전적 의미의 HDR’을 사용하지 않는다.

구글의 기기인 픽셀 시리즈는 노출을 짧은 시간 안에 늘려 HDR보다 더 많은 시간을 찍고, 이중 노이즈가 없는 밝은 부분을 여기저기서 가져와 사진을 만든다. 이 과정에서 기존에 학습한 컬러나 모양 따위를 사용한다. 부자연스러운 화소(노이즈)는 주변에 맞춰 수정한다. 관점에 따라 다르지만 이 사진은 카메라의 하드웨어가 아닌 소프트웨어가 색칠한 사진으로 생각할 수도 있을 것이다. 그렇다면 구글이 만든 환한 야경 사진은 사진일까 그림일까?

구글은 이 기술을 설명하며 블로그에 ‘See the light’라는 문구를 썼다. ‘광명을 찾았다’라고 번역할 수 있는 문장이다. 이해하지 못하던 것들을 갑작스럽게 이해한다는 말인데, 신의 영역으로 다뤄지기도 한다. 구글은 신이 되려는 것일까?

 

#4 토니 스타크와 B.A.R.F.

https://www.youtube.com/watch?v=jVnWgmO9wgI

캡틴 아메리카: 시빌 워의 B.A.R.F. 관련 장면, 빠른 보기는 2:06부터

캡틴 아메리카: 시빌 워에서 아이언맨인 토니 스타크는 가상현실을 구현할 수 있는 장치 B.A.R.F.(Binary Augmented Retro-Framing)를 선보인다. 심리치료를 위한 장치로, 가상현실을 실제의 공간에 완벽하게 구현하는 것을 말한다. 그리고 최근엔 비슷한 장치를 활용하는 영화도 등장했다.

물론 B.A.R.F.는 현재 기술로는 완벽 구현할 수는 없다. 상이 맺히려면 화면이 있어야하고, 투명한 공기 중에 화면을 만드는 것은 어려운 기술이다. 그러나 플라즈마 등을 활용하는 방법이 연구되고 있다.

그러나 화면 안에서는 다르다. 딥러닝 등장 후 화면 안에 있는 것들은 대부분 가짜로 만들어낼 수 있는 것이다. 최근 우리는 스냅챗의 효과에 의해 아기가 됐고, 성별이 바뀌었으며, 밤 사진을 낮으로 만들고, 눈동자 위치도 바꾼다.

이 영화는 묻는다. 보이는 것 중 무엇이 진실인가. 초인이 아닌 우리는 그것을 어떻게 파악할 수 있나. 영화처럼 선악이 명징한 상황이 아니라면 잘잘못을 명백하게 가려낼 수 있을까.

이러한 문제가 범죄로 진화할 때 우리는 얼마나 그 문제에 대처할 수 있을까. 이러한 기술들은 이미 포르노에 적용돼 있고 앞으로 사진, 화상회의, 유튜브, 라이브 영상 등에서 끊임없이 악용될 것이다.

이 화면이 실시간으로 조작된 것을 상대방이 알고 있다면 가짜임을 인지할 수 있다. 그러나 아무 표기 없는 디지털 이미지와 영상은 무책임하다. 화면 속에 있는 당신은 진짜인가. 그리고 그 사실을 상대방도 알고 있는가.

딥페이크 연구 결과를 다룬 UC 버클리의 영상

글. 바이라인네트워크
<이종철 기자> jude@byline.network