NPU가 뭐길래 삼성까지

 

삼성전자가 엑시노스 9820을 공개하며 NPU 탑재를 발표했다. 다른 제조사보다 조금 늦은 발표다. 그렇다면 이 NPU는 무엇일까? 의미는 간단하다. 뉴럴 프로세싱 유닛(Neural Processing Unit, NPU), 인공신경망 관련 콘텐츠에서 들어볼 법한 단어들로 조합돼 있다. 인공신경망은 딥러닝의 알고리즘이다. 즉 NPU는 딥러닝을 하기 위해서 사용하는 칩셋이다.

상용 제품 중 최초는 애플이라고 보면 된다. 아이폰 X을 출시할 때 A11 바이오닉 칩에 뉴럴 엔진을 심었다. 애플은 이를 주로 안면 인식 후 잠금 해제, 결제, 이미지 처리, AR에 사용한다. 전면 카메라는 IR 센서로 얼굴 곡면을 인식하지만 후면 카메라는 듀얼 카메라로 전후면을 인식하므로 인물 사진 모드에 보케 효과를 적용하기 위해 뉴럴 엔진이 활약해야 했을 것이다. 보안 인증 시에도 안면 데이터를 실시간 처리(완전히 정면이 아니어도 인증이 된다는 의미다)하기 위해 뉴럴 엔진을 사용한다. 이 칩셋은 A12 바이오닉에 이르러 다이내믹 레인지(DR)을 더 자연스럽게 조정하는 데 사용되기도 했다. 후면에 싱글 카메라만 탑재한 아이폰XR은 AI를 활용해 배경을 보케 처리한다.

 

via GIPHY

 

다음은 화웨이다. 화웨이는 다른 중국 제조사와 달리 칩셋을 직접 설계해 사용한다. 물론 플래그십이 아닌 모델에는 퀄컴 스냅드래곤을 사용하기도 한다. 라인업이 다양하므로 제품에 맞게 설계하거나 구매해 사용한다는 의미다.

화웨이의 Kirin 970 칩셋은 최초 등장 시부터 NPU를 달고 등장했으며, 벤치마크 결과 애플의 A11 바이오닉을 상회하는 성능을 낸다고 발표했다. 벤치마크 조작 이슈가 있으므로 다 믿을 수는 없지만 어느 정도 성능을 보장한다는 의미로 받아들이면 된다. 올해 2018년에는 Kirin 980을 들고  나와 사진이 아닌 영상에서 사람과 배경을 분리하는 마법 같은 장면을 보여주기도 했다. 또한, 전문 장비를 사용해야 하는 3D 스캐닝도 일부 할 수 있음을 시연을 통해 보여줬다. 이 칩셋은 화웨이 mate 시리즈에 탑재된다.

 

 

구글은 좀 다르다. 이미지 프로세싱 유닛(IPU)가 이미지 머신러닝을 처리하며 나머지는 스냅드래곤의 DSP(Digital Signal Processor)가, 궁극적인 머신러닝은 구글의 서버 내 엔진인 TPU(Tensor Processing Unit)이 처리한다. 온디바이스 AI와 클라우드 AI의 방식 차이지만 구글도 기기 안에서 머신러닝을 구동하지 못하는 건 아니다. 구글은 자사 AI를 활용해 어두운 사진을 밝게 만들어주는 나이트 샷을 도입하기도 했다. 밝기를 높이는 게 아니라 주변 사물을 인식해 새로 칠하는 수준에 해당한다. 구글이 생각하는 카메라의 미래는 AI인 것이다.

 

 

삼성전자는 높은 카메라 수준으로 인해 지금까지 NPU 없이도 실시간 보케를 척척 처리해냈다. 갤럭시노트8부터 실시간 심도 조절을 할 수 있었다. 이미 1년도 지난 이야기다. 그러나 영상의 실시간 처리나 안면인식, 생체인식을 통한 보안 이슈, 안정적인 AR 구동 등을 위해 삼성전자도 NPU를 영원히 탑재하지 않을 수는 없었을 것이다. 엑시노스 9820은 전통적인 성능(싱글코어 성능 20%·멀티코어 15%·전력효율 40% 개선) 개선도 이뤘지만 NPU 탑재로 인해 소프트웨어적인 사진 품질 개선도 이룰 수 있겠다. 갤럭시S10이 기대되는 이유다. AR 이모지는 기대되지 않는다. 벌레처럼 움직인다.

 

 

글. 바이라인네트워크
<이종철 기자> jude@byline.network