온디바이스 AI 시대, 아이폰XS, 아이폰XR, 화웨이

 

내년부터의 스마트폰 AI 시장은 온디바이스 AI 시대가 될 것이다. 세계 스마트폰 시장 2위 업체와 3위 업체가 온디바이스 AI 기기를 전면에 내세우고 있기 때문이다. 화웨이와 애플이다. 1위 업체인 삼성 역시 충분히 구현할 능력이 있다.

 

스마트폰 AI는 크게 클라우드 AI와 온디바이스 AI로 나눈다. 이중 화웨이와 애플이 온디바이스 AI를 구현하기 위해 자사의 칩셋에 머신 러닝을 관장하는 NPU(Neural Processing Unit)를 넣었다. 화웨이는 기린 970과 기린 980, 애플은 A11 바이오닉과 A12 바이오닉에 NPU를 탑재했다.

특히 애플은 이번 발표에서 보급형 기기(아이폰XR)에도 동일한 칩셋을 넣었다. A11 바이오닉을 사용한 아이폰8을 염두에 두면 $599만으로도 온디바이스 AI를 활용한 제품을 사용할 수 있는 셈이 된다. 물론 보급형인 아이폰XR의 가격은 보급형이 아니다.

 

실시간 머신 러닝

전작과 A12 바이오닉의 가장 큰 차이는 실시간 머신 러닝이다. 기계학습은 물론 어느 곳에서나 실시간으로 돌아간다. 그러나 결과를 실시간으로 수 있는 것을 보통 실시간 머신 러닝이라고 한다. A11을 활용해도 실시간 구현이 가능하다. 얼굴을 인식해 페이스ID로 잠금 해제하는 것은 실시간 수준으로 이뤄졌다.

얼굴 수준에서 이뤄진 실시간 머신 러닝을 통해 페이스ID를 활용한다via GIPHY

애니모지도 같은 방식이다 via GIPHY

 

그러나 인물의 전신이나 배경 전체를 실시간 인식 및 출력할 수 있는 수준은 아니었다. NPU 코어를 2개에서 8개로 늘린 A12에서는 행동 전반을 인식할 수 있을 것으로 보인다. 시연했던 HomeCourt 앱을 보면 농구를 하고 있는 선수와 코치, 팔의 각도나 슛 성공률 등을 실시간으로 인식하고 있음을 알 수 있다.

 

자세히 보면 각도, 슈팅 성공, 지역 등을 파악하고 있다 via GIPHY

 

OS나 하드웨어에 따라 조금 다르지만 화웨이의 Kirin 980 발표 사례를 보면 이 과정을 더 쉽게 이해할 수 있다. NPU를 듀얼로 심은 기린 980 프로세서는 동영상에서도 사람과 배경을 구분한다.

 

그 결과 배경을 지워버리고 합성하는 수준의 역할이 가능하다. via GIPHY

 

아직 실물 출시 전인 아이폰XS와 XR의 성능(=A12 바이오닉의 성능)이 기린 980과 어느 정도 차이일지는 모르겠으나 애플의 제품도 비슷한 역할을 수행할 수 있을 것이다.

NPU는 이외에도 사진과 영상 등 멀티미디어를 활용하는 많은 영역에 사용된다. 얼굴인식은 물론이고 사람의 몸 전체 인식, 카메라로 비추었을 때의 상황 판단(실내, 실외, 풍경, 정물 등), HDR을 실행하기 위한 여러 가지 상황 파악 등에 활용된다.

기린980은 여러 사람의 행동을 동시 인식하기도 한다 via GIPHY

(유튜브 보기)

 

안드로이드나 PC의 방식은 다르다

그런데 안드로이드 제품들에는 왜 NPU 탑재 소식이 드물까. 이유는 구글의 머신 러닝 방식이 클라우드 AI기 때문이다. 구글은 모든 연산이 자신들을 거치기를 원한다. 따라서 구글 어시스턴트 구글 렌즈의 인공지능이 기기가 아닌 구글의 서버를 거치도록 처리돼 있다. 따라서 안드로이드 기기 중 구글 서비스를 활용하는 AI는 기기의 성능에 크게 구애받지 않는다.

안드로이드 기기에 주로 탑재되는 퀄컴 스냅드래곤 칩셋에서는 따라서 NPU를 탑재하지 않고 소프트웨어로 비슷한 기능을 구현한다. NPE(Neural Processing Engine)라고 부른다.

PC는 조금 다른데, 엔비디아 등의 GPU 제조사가 자사 GPU에 이미 NPU와 유사한 부품을 집어넣는다. 따로 NPU를 장착할 필요가 없다는 의미다. 따라서 자율주행차 등은 PC에 가까운 수준의 GPU를 사용한다. 통신이 되지 않는 상태에서도 차량이 실시간 러닝하며 주행할 수 있어야 하기 때문이다.

 

소비자에겐 무엇이 좋을까

각 AI의 장단점이 명확하기 때문에 소비자에게 무엇이 더 좋다고 하기는 애매하다. 그러나 앱이 발달할 경우에는 온디바이스 AI가 나을 수 있다. 홈코트 같은 앱이 안드로이드에서 등장하려면 영상의 메타정보를 클라우드와 주고받아야 하는데 용량이 과할 것 같은 느낌이다. 반대로 엄청난 연산을 수행하려면 클라우드가 나을 수도 있겠다. 중요한 건 그것보다는 온디바이스 AI 기기가 점차 늘어날 것이라는 전망이다. 앱 제작사들은 앞으로 이를 염두에 두고 개발을 시작해야 할 것이다. AR 게임에 한정해서 하는 이야기는 아니다(홈코트 앱은 게임이 아니다). AR 게임은 대부분 재미가 없다.

 

글. 바이라인네트워크

<이종철 기자> jude@byline.network