>


IFA가 현지시각 5일까지 진행된다. 화두는 주로 AI다. 그러나 스마트홈용 AI와 모바일 AI는 각 기기에 인공지능을 적용한 것 외에 별다른 공통점은 없다. 오늘 할 이야기는 화웨이의 모바일 온디바이스 AI와 관련된 이야기다.

 

화웨이 온디바이스 듀얼 NPU 칩 내놓아

화웨이가 무서운 칩을 내놓았다. 흔히 사용하는 CPU, GPU 외 인공지능 연산만 따로 처리하는 NPU를 탑재한 스마트폰용 SoC(시스템 온 칩)이다. 사실 처음은 아니다. 지난해 IFA에서 전작 기린 970이 나왔고, 그 이후엔 애플이 NPU를 탑재한 A11 바이오닉을 제작해 아이폰X에 도입했다. NPU를 도입한 세 번째 칩인 셈이다.

전작과의 차이는 NPU를 듀얼로 심었다는 것이다. 성능이 단순히 올라간다는 느낌이 아니다. 카메라로 사물을 비추었을 때 배경과 오브젝트를 분리한다. 물론 이 기능은 아이폰에도, 갤럭시나 G7에도 있다. 그러나 사진 기능을 실행했을 때 피아식별이 가능한 것과 달리 이 제품은 동영상으로 오브젝트와 배경을 구분한다. 동영상은 초당 사진 최소 30장이 지나가는 거대한 연산을 필요로 한다.

 

사진이 아닌 동영상에서 배경과 사람을 인지하는 장면

팔과 배경을 이렇게 분리했다

팔과 배경의 분리 부분을 확대해보면 픽셀 단위로 분리했음을 알 수 있다. 이는 사진을 분석한 결과가 아니라 동영상을 실시간 분석하고 있는 것이다

그 결과 동영상에서도 배경제거 후 다른 배경을 입힐 수 있다

 

동영상으로 보기

 

 

이 작업은 머신 러닝으로 이뤄지는데, CPU나 GPU도 수행할 수 있다. 그러나 효율이 좋지 않다. 따라서 인공신경망을 도입해 머신러닝을 별도로 해주는 NPU를 삽입했다. 예를 들어 A11 바이오닉 칩이 페이스ID로 잠금을 해제할 때, 실시간으로 얼굴 움직임을 파악하는 건 기존 칩으로 하기는 어렵다. 얼굴이 실시간으로 움직인다는 건 3D 영상을 러닝하는 것이기 때문이다. 애니모지 역시 같은 방식을 사용한다. 이러한 효과가 현재 기술 수준에서 극대화된 것이 듀얼 NPU를 탑재한 기린 980이다. 비교적 작은 부분(얼굴)이 아닌 몸 전체를 실시간 인식할 수 있다. 데모에서는 사람 네 명이 농구하는 장면을 인식하는 모습을 보였다.

 

 

CPU는 Cortex-A76 기반, GPU는 Mali-G76을 사용했다. 코어 구성은 스냅드래곤이나 엑시노스의 빅 리틀과 유사한 방식으로, 대형 코어 2, 미들 코어 2, 소형 코어 4개로 작동한다. 어떤 작업을 수행하느냐에 따라 이 코어들이 동원되는 경우의 수가 달라진다.

2+2+4의 옥타코어 구성을 활용했다

이 코어들은 수행하는 영역에 따라 다르게 가용된다

 

한국 업체는 NPU를 못 만들까

삼성전자는 왜 갤럭시노트9에 NPU 탑재 칩을 사용하지 않을까. 엑시노스를 설계 및 제작하는 삼성전자에게 그러한 역량이 없을리 만무하다. (중국을 제외한)안드로이드 업체들이 NPU를 탑재하지 않는 이유는 구글이 AI를 클라우드에서 구현하기 때문이다. 연산 대부분을 인터넷을 통해 구글의 클라우드에서 처리하고 다시 보내면 하드웨어가 무거워질 필요가 없다. 또한, 구글은 자신들이 모든 걸 컨트롤하는 걸 좋아한다. 그래서 크롬북도 만들었으나 하늘의 별이 되었다(미국 교육 시장에선 상당한 성과를 내긴 했다).

삼성전자는 물론 엑시노스에 NPU 탑재를 고려할 것이다. 다만 국가별 버전에 따라 스냅드래곤을 탑재해야 하는 경우도 있으므로 이 제품과의 특별한 성능 차를 낼 당장의 필요는 없다. 스냅드래곤 시리즈는 NPU를 탑재하는 대신 알고리즘인 NPE(Neural Processing Engine)를 사용한다. 소프트웨어로 이 같은 기능을 구현한다는 것이다.

클라우드 방식의 문제는 보안 이슈다. 생체 정보 등을 칩 안에만 저장하고 인터넷으로 전송하지 않는 온디바이스에 비해 보안 이슈가 발생할 여지가 있다. 반대로 연산 능력이 인터넷 속도(광대역)가 허락하는 한 무궁무진한 장점도 있다. 5G 시대에 이르면 더 강해질 능력이다.

애플의 방식은 기본적으로 화웨이와 같다. 다만 애플의 칩은 범용이 아니고 아이폰과 아이패드에서만 쓰는 것이므로 OS와 함께 출시하면 비교적 낮은 하드웨어 성능으로도 더 높은, 혹은 최적화된 성능을 끌어낼 수 있음을 알아두자.

 

7나노미터 공정은 삼성전자와 기술 경쟁 중인 TSMC의 것이다. 모바일 제품화는 TSMC가 먼저 했다. 듀얼 ISP도 눈에 뜬다

듀얼 ISP의 결과물로 HDR 디테일을 예로 들었다

 

AI 시대 승리자는 화웨이

화웨이는 세상에서 가장 강력한 모바일 SoC를 만들어내 온디바이스 AI의 새 지평을 열었다. 물론 이 성능은 몇 달이면 금세 따라잡힐 것이다. 5G 시대를 위해서는 5G 통신장비를 만들어냈다. 화웨이는 원래 통신장비를 만드는 회사다. 클라우드 기반 AI를 확대 사용하기 위해서는 또 화웨이의 제품을 사용해야 하는 셈이다. 거기다 4.5G 통신망 지원 칩셋인 기린 980에 이미 5G 지원 기능까지 넣었다. 5G가 상용화되면 5G 폰으로 쓸 수 있다. 모바일 AI와 관련해 당분간 화웨이의 적은 없을 듯하다.

기린 980은 화웨이 자회사 하이실리콘에서 제작, TSMC에서 생산하며 자사 스마트폰 메이트 20에 우선 탑재된다. 출고는 10월이다.

 

글. 바이라인네트워크

<이종철 기자> jude@byline.network