픽셀 4 출시로 인해 구글 폰에서 ‘얼굴로 잠금해제(face unlock)’가 가능하게 되었다. 페이스 ID처럼 결제에도 사용된다. 모든 안드로이드폰이 아닌 픽셀 4에서만이다. 갤럭시 등도 얼굴인식을 제공하고 있지만 이 인식방식은 2D 방식을 사용하므로 앞서 말한 두 기술과 같은 선상에 놓을 수는 없다.

구글은 픽셀 4 발표 이전부터 블로그에 ‘프로젝트 솔리’의 설계도를 공개해놓고 있었다. 이 이미지를 아이폰의 트루뎁스 카메라와 비교해보자.

아이폰 트루뎁스 카메라

픽셀 4 카메라 시스템

여기서 각종 센서의 이름은 다음과 같다

Ambient light sensor: 주변광 센서, 폰 앞 상황의 밝기를 판단하는 데 쓰인다.

Proximity sensor: 근접 센서, 폰 근처에 얼굴이나 바닥이 닿으면 화면을 끄는 역할을 한다

Flood illuminator: 투광 일루미네이터, 적외선을 분출해 얼굴을 비춘다.

Dot projector: 몇만개의 적외선 점을 발사한다.

IR Camera 혹은 Infrared Camera: IR 카메라: 적외선 카메라, 적외선을 받아들인다.

과정은 이렇다. 투광 일루미네이터와 닷 프로젝터가 각각 역할에 맞는 적외선을 뿌린다. 이 신호가 IR 카메라로 돌아올 때, 닷 프로젝터는 얼굴을 3D로 인식하고, IR카메라는 사람 이외의 것들을 배경 처리한다. 이로써 3D 매핑이 끝난다.

그런데 픽셀 4의 정면 카메라 센서에는 아이폰에 없는 부품 몇가지가 있다. 우선 IR 카메라가 두개다. 따라서 더 넓은 얼굴 각도를 인식할 수 있을 것이다. 특히 정면은 논외로 하고 측면까지 더 잘 인식할 수 있을 것이다. 두 카메라의 위상차를 정밀하게 계산한다면 인식할 수 있는 얼굴 범위는 더 넓어질 것이다.


[AD] 멀티 클라우드 데이터 관리를 위한 베리타스의 전략을 살펴보세요

또한, 레이더 센서인 솔리(Soli) 칩이 별도로 존재한다.

레이더는 전자파를 이용하는 것이다. 허공에 전자파를 쏜 뒤 돌아올 때의 반사파를 측정해 물체를 판단한다. 전자파를 사용하는 걸 부모님들께 들킨다면 전자레인지처럼 근처에 다가가지 못하게 될 것이다.

이 솔리 칩을 이용하면 얼굴과의 거리나 모양을 더 정확하게 판단할 수 있다. 물론 얼굴만 찍는다고 가정하면 IR 카메라로도 충분히 매핑을 해낼 수 있다. 아이폰의 포트레이트 모드는 얼굴 인식을 하는 것과 비슷한 방식으로 얼굴과 배경을 분리한다. 그러나 레이더 센서와 IR 카메라를 공조하면 더 많은 사물을 인식할 수 있다.

솔리 칩은 근처에 사람이 있는지 없는지를 레이더로 파악할 수 있으며, 어떤 움직임이 폰을 조작하는 유효한 움직임인지를 이해할 수 있다. 더 나아가, 사람이 여러 명이 있다면 몇 명이 근처에 있는지를 대강 파악한다. 사람의 몸 기울기, 회전 상태 등도 인지할 수 있다. 따라서 손으로 볼륨 조절, 스와이프, 다이얼 등의 복잡한 작업도 인식할 수 있다.

올바른 동작인지 확인한다

여러 사람의 존재나 움직임까지 인식할 수 있다

인식 가능한 다양한 제스처

360도 센싱에 벽도 투과할 수 있다고 한다


[AD] 금융권을 위한 멀티 클라우드 애플리케이션 서비스 전략

몸의 기울기, 회전 등을 인지한다

삼성 폰이나 LG 폰에 탑재된 ToF 센서로도 제스처 정도의 역할은 수행할 수 있지만, ToF는 기본적으로 광학 센서, 즉 카메라다. 빛을 쏴서 돌아오는 것을 파악하는 것이므로 태양광이나 LED가 강한 곳에서는 사용하기 어렵다. 따라서 레이더만큼 정밀한 움직임을 파악할 수 없다. ToF는 기본적으로는 ‘거리 측정 센서’다. 또한, IR 센서나 ToF 센서에는 없는 장점이 레이더에는 있는데, 레이더는 기본적으로 전면을 보고 탑재해도 후면을 인식할 수 있다. 이 부분을 구글이 활용한 것은 아닌 것으로 보인다(그랬다면 구글이 후면에서도 조작할 수 있다는 광고를 했을 것이다).

구글은 솔리 칩을 픽셀 4에만 적용하려고 개발하지는 않았다. 앞으로는 네스트 홈, 안드로이드 TV 등에도 탑재될지 모른다. 스마트 홈을 구현하는 데 좋은 조작법이 될 것이다. 이 정보는 집, 회사, 개인의 움직임으로 차곡차곡 저장돼 영화 <다크나이트>에서 고주파를 활용해 민간인을 사찰하는 시스템 ‘소나(SONAR)’와 같은 것이 이 될 수도 있지 않을까? 다행히도 얼굴이나 거리 정보는 픽셀 4 내부에서만 사용되고 다른 구글 서비스와 연동되지 않는다. 그러나 의심은 계속해야 할 것이다.

영화 다크나이트의 민간인 사찰 시스템

글. 바이라인네트워크
<이종철 기자> jude@byline.network