AR 시대 대비해 페이스북이 만들고 있는 것 -손목 인터페이스

페이스북은 VR에 많은 투자를 하고 있다. 동시에 AR에도 많은 투자를 하고 있는데, 현재 오큘러스 퀘스트2 출시로 인해 VR 생태계에 박차를 가하고 있다고 하면 AR은 아직 연구 중인 수준이다. 물론 AR에 대한 연구 결과는 VR에도 적용할 수 있다.

페이스북이 연구 중인 것은 VR의 컨트롤러를 뛰어넘는 AR의 인터페이스다. 인터페이스를 연구하는 이유는 컴퓨팅은 항상 입력 도구의 영향을 받아왔기 때문이다. 현재도 사용하고 있는 마우스는 1968년 더그 엥겔바르트(Doug Engelbart)가 개발한 것이며, 스마트폰에서는 마우스가 아닌 손가락 터치를 사용한다. 이렇게 무엇을 입력 도구로 사용하느냐에 따라 컴퓨터 인터페이스는 크게 달라진다. 이것을 휴먼 컴퓨터 인터랙션(HCI)이나 사용자 인터페이스·사용자 경험(UI·UX)로 부르기도 한다.

AR의 경우 화면을 조작하고 움직이는 데 여러 AR 연구 기업은 다른 해법을 쓴다. AR을 홀로렌즈로 상용화한 마이크로소프트는 주로 허공에 상을 띄우고 거기까지 가서 손가락으로 직접 누르는 인터페이스를 사용한다.

페이스북도 비슷한 방식을 사용하지만 이것이 완성형은 아니라는 생각에 근육의 움직임을 파악하고 햅틱 피드백을 줘서 실제로 누르는 것 같은 느낌을 주는 인터페이스를 개발하고 있다. 페이스북 인사이드 더 랩(Inside the Lab)으로 부르는 페이스북 내 연구 기관에서 만든다. AR과 관련된 방식인지는 알려지지 않았으나 구글은 픽셀 폰에서 레이더를 통해 손가락의 섬세한 움직임을 파악하는 방식을 연구하고 있다.

페이스북은 현재 VR 내에서 일할 수 있는 도구를 연구하고 있다. VR을 쓰고 화면을 띄우면 어디서든 익숙한 업무 장소가 뜨는 것이다. 업무는 물론 키보드, 마우스 등을 사용한다. 상황에 따라서 키보드와 마우스로 할 수 없는 그래픽 툴 등을 다른 도구로 조작하기도 한다.

그런데 이 도구는 VR 컨트롤러로 실행하기 어렵다. 따라서 페이스북은 VR 내에서도 가상의 키보드와 마우스 등을 띄우며, 상황에 따라 터치 등 여러 방식을 지원할 수 있는 방법으로 팔에 부착하는 손목 밴드 인터페이스를 연구하고 있다.

The intelligent click

키보드와 손목 밴드는 같은 키보드 형식의 입력을 해도(실제 키보드와 스마트폰 가상 키보드가 다르듯이) 신체에서 일어나는 작용은 다르다. 물리 키보드 입력은 뇌에서 팔-손까지의 전기 신호를 거쳐 키보드를 조작하고, 키보드가 눌렸을 때 반대로 뇌에 신호를 준다. 그런데 손목 밴드로 입력하는 것은 생각만으로 거의 바로 전기신호가 동작하는 것이다. 물론 손가락을 움직이고 피드백을 받는 장치도 마련돼 있지만 생각(뇌파)과 약간의 근육 움직임만으로도 키보드 입력을 할 수 있다. 따라서 손가락이 없는 사람도 동일하게 입력할 수 있다. 페이스북은 현재 EMG나 심전도를 통해 신경 신호를 파악하고, 1mm 움직임까지 파악할 수 있다고 발표했다. 손목을 당기거나 움직이고 돌리는 것을 입력 신호로 치환할 수 있어 키보드 입력은 물론 AR과 VR 기기의 게임 컨트롤러 용도로도 사용할 수 있을 만큼 발전해있다고 발표했다. 가상의 키보드나 컨트롤러이므로 멀리 있는 물건들도 6축으로 움직일 수 있다. 6개의 축은 현재 짐벌, VR 등에서 움직일 수 있는 X, Y, Z축을 포함해 깊이까지 파악할 수 있는 단계로, 6개의 축을 지원하면 3차원 공간 대부분을 사용할 수 있다.

햅틱 피드백

홀로렌즈의 입력은 눈앞에만 펼쳐지는 게 아니라 깊이를 지원한다. 따라서 버튼이 멀리 있으면 가서 누를 수 있다.

다만 이 방식은 허공의 버튼을 누르므로 시각적인 피드백은 만족시키지만 촉각 피드백은 만족시키기 어렵다. 따라서 페이스북은 근육을 눌러주는 밴드를 통해 각 행동에 맞는 피드백을 주려고 하고 있다. 예를 들어 가상 키보드를 누르면 키보드를 누르는 느낌을, 마우스(마우스는 아마 불필요해질 것이다)는 마우스 클릭을, 게임 내에서 활을 쏜다면 활을 당길 때의 탄성 등을 손목 밴드로 구현하는 것이다. 이것을 감각 치환이라고 부른다.

감각 치환을 통해 사람은 실제로 물건을 구동했다는 느낌을 받는다. 이러한 터치 피드백은 아이폰이나 맥북에 적용된 것과 유사하지만 조금 더 세밀한 피드백을 통해 실제 물질을 만지는 듯한 여러 피드백을 주기 위해 노력하고 있다고 페이스북은 밝혔다.

적응형 인터페이스

이렇게 손목 밴드가 발전한다고 해도 이 기기의 목표는 ‘실제 물질을 가상에 띄우는 것’만이 목표는 아니다. 장애를 가진 사람도 활용할 수 있고, 그렇지 않은 사람도 기존보다 더 빠르게 입력하는 것을 목표로 한다. 실제를 모방하는 것만이 AR의 목표가 아니기 때문이다. 따라서 페이스북은 사용자 맞춤 인터페이스를 통해 더 빨리 쉽게 입력하는 것을 목표로 하고 있다.

예를 들어 키보드를 입력한다면 모든 글자를 다 입력하는 것이 아니라 일부만 입력해도 문장을 자동완성되게 할 수 있다. 현재도 자동완성 기능이 스마트폰이나 지메일 등에서 사용되고 있지만, 맥락이나 상황을 더 빠르게 파악하고 반응하는 것이 목표다. 이를 위해 상황인지 AI 연구를 하고 있다고 페이스북은 밝히고 있다.

이 패턴이 기기에 의해 학습되면, 나중에는 사용자가 무엇을 하려고 하는지 맥락과 의도를 파악하고 동작에 선제적으로 대응한다. 손목의 움직임뿐 아니라, 컴퓨터를 바라보면 자동으로 워드 프로세서를 띄워줄 것인가, 알람을 맞출 것인가를 미리 제안하는 것이다. 글래스를 쓰고 음식을 한다면 타이머를 맞출지 묻고, 달걀물을 언제 부을 것인지를 파악하고 조안한다. 현실에 가상을 덧입히므로 실시간으로 계속 상호작용한다는 것이 현재의 자동완성이나 개인 맞춤형 추천과 다르다. 최소한의 동작으로 동작을 수정하고 취소할 수 있어야 하며, 클릭 한번으로 전구를 켜고 물을 끓이는 등의 동작을 할 수 있는 것이 궁극적인 목표라고 페이스북은 밝혔다.

햅틱을 통해서 내비게이션 활용 시 방향을 알려주거나 하는 등의 행동도 가능하다. 즉, AR 글래스 없이 스마트폰과 함께 사용할 수도 있다.

얼마나 발전했나

현재 페이스북 인사이드 더 랩이 만드는 프로토타입 밴드는 초당 20Hz(초당 20회 진동을 줄 수 있음) 정도로 정보를 알려줄 수 있다. 게임 등에서는 감각 치환을 통해 상당 수의 자연스러운 정보를 줄 수 있는 수준까지는 발전하고 있다. AR 글래스는 인사이드 더 랩이 만들고는 있지 않다고 한다. 페이스북은 이 연구가 몇 년은 더 걸릴 것으로 예상하고 있다.

실제와 가상의 조화

페이스북은 일, 여가, 라이프스타일 등에 모두 손목 밴드를 활용하려고 하는 것으로 보인다. VR, AR, 스마트폰 모두에 사용할 수 있는 인터페이스를 만드는 것이다. 따라서 페이스북이 노리고 있는 것은 생산성과 재미 등을 넘어 스마트홈까지 발전할 수도 있다. 손목 밴드는 단순히 입력 도구의 일종이 아니다. 페이스북은 세계 위에 가상의 세계를 하나 더 짓고 있는 것이다.

글. 바이라인네트워크
<이종철 기자> jude@byline.network