[그게 뭔가요] 달라진 온디바이스 AI의 의미

삼성 “갤럭시 AI 1억대 만든다”

인텔 “2028년, 전체 PC의 80%가 AI PC 될 것”

AMD “AI PC에서는 AMD가 선두”

온디바이스 AI의 등장 배경

최근 스마트폰, CPU, GPU 제조사 모두 한 입을 모아 외치는 이야기가 있다. 바로 AI다. 그중에서도 전통적인 제품 제조사들은 주로 온디바이스 AI를 강조한다.

이유는 생성형 AI의 등장 때문이다. 챗 GPT를 필두로 한 생성형 AI 대부분은 클라우드 기반으로 구동된다. 슈퍼컴퓨터를 학습시키고, 슈퍼컴퓨터의 연산 성능을 사용해 사용자에게 대답을 해주거나 그림을 그려주는 형태다. 따라서 온라인 연결이 필수이며, 데이터를 소모하고 개인정보 보호 문제가 발생할 여지가 있다.

온디바이스 AI는 이러한 문제를 방지하고, 어떤 상황에서든 제품을 편하게 쓸 수 있게 만들어졌다. 현재 가장 대표적인 온디바이스 AI로 불리는 갤럭시 AI 기능, 그중에서도 실시간 대화 번역 기능과 채팅 어시스트 기능은 인터넷 연결 없이(메시지를 보내기 위한 연결은 필요) 기기 내에서 구동된다. 클라우드의 도움을 받지 않고 기기 내(On-Device)에서 처리되기 때문에 온디바이스라고 부른다.

기존에도 존재했던 온디바이스 AI

온디바이스 AI는 갤럭시 제품에 최초로 탑재된 것이 아니다. 기존에도 사용돼 왔다. 애플이나 화웨이가 AI 전용 반도체인 NPU를 AP에 탑재하기 시작한 것이 2018년부터다.

기존에 온디바이스 AI를 가장 활발하게 사용하는 곳은 애플이었다(물론 애플은 AI 단어 대신 온디바이스 머신 러닝이라는 말을 사용한다). 특히 아이폰의 상징과도 같은 보안 인식 face ID를 활용하기 위해 온디바이스 AI를 사용한다. 사용자의 얼굴 여러 각도를 학습하기 위해서다. 다른 제조사 역시 비슷한 방법으로 사용자를 인식하고 생체 인증을 사용한다.

via GIPHY

자체 칩셋을 사용하는 화웨이 역시 2018년부터 NPU 탑재 스마트폰을 출시하고, 동영상에서 배경을 분리해 내는 기술 등을 선보여왔다.

애플과 화웨이가 머신 러닝을 사용하기 시작하자, 다른 제조사들도 여러 영역에서 온디바이스 AI를 활용해 왔다. 주로 카메라에서 사람이나 동물을 인식하거나, 피부톤을 인식해 자연스럽게 만들고, 야간 사진의 품질을 높이는 기능 등에 사용한다.

또한, 사진첩이나 문서들을 정리하고 요약하는 등의 서비스도 온디바이스로 구동되는 경우가 많다.

그러나 챗 GPT 등장 이후, 온디바이스 AI 역시 대변혁을 맞게 된다.

챗 GPT 등장 이후의 온디바이스 AI 스마트폰

출시된 지 고작 1년이 갓 지난 챗 GPT는 매일 세상을 새롭게 변화시키고 있다. 어떤 말에도 대답을 해주고, 영어 공부를 돕거나 문서를 요약하고, 번역을 도와주거나 간단한 코드를 짜주는 등 챗봇에서 기대할 수 있는 거의 모든 것을 할 수 있기 때문이다. 챗 GPT 개발사 오픈 AI는 GPT 3.5 버전부터는 달리를 연동해 간단한 프롬프트만으로 그림을 그려주거나, 아예 영상까지 만들어주는 ‘Sora’를 선보이기도 했다. 챗 GPT의 등장으로 인해 AI는 곧 Gen AI, 생성형 AI를 대표하는 말이 되어버렸다.

제조사들도 이 흐름에 응답하기 위해 생성형 AI 서비스를 선보이고, 이중 온디바이스로 구동 가능한 것들은 온디바이스 AI에 탑재하기 시작했다. 가장 대표적인 것이 갤럭시 스마트폰의 실시간 대화 번역 서비스다. 이외에도 빈 곳을 생성해 메꿔주는 생성형 사진 편집 등의 기능을 갖추고 있다.

구글도 삼성보다 조금 앞서 픽셀 8 프로 버전 한정으로 온디바이스 AI 기능을 탑재한 바 있다.

애플 역시 애플 워치 울트라에서 ‘온디바이스 시리’ 일부 기능을 실행할 수 있도록 하고 있다.

결국 현재 온디바이스 AI로 부르는 모든 스마트폰은 ‘온디바이스 생성형 AI’ 스마트폰이 되고 있다.

온디바이스 AI PC 시대도 개화

스마트폰에서 생성형 AI가 활발하게 쓰이자 PC에도 비슷한 서비스가 탑재되기 시작했다. 초창기 모델은 주로 스마트폰 칩셋 제조사인 퀄컴과 애플로부터 나왔고, 추후 전통적인 PC CPU 제조사들도 NPU를 탑재하기 시작했다. PC CPU 시장의 두 강자, AMD와 인텔도 현재 AI 반도체인 NPU 탑재를 기본 사양으로 하고 있다. AMD는 지난해 랩톱 전용 CPU 라이젠 7040에 NPU를 탑재했고, 올해는 데스크톱용 프로세서 8000 시리즈(호크 포인트) 에도 NPU를 탑재하고 있다.

인텔 역시 제품 브랜드명을 코어 울트라로 변경하며 NPU 탑재를 기본으로 한 CPU들을 선보이고 있다.

다만 ‘AI PC 시대가 왔다’고 부르기는 아직 어렵다. AMD와 인텔의 NPU는 생성형 AI를 구동하는 것보다는 주로 소프트웨어 가속에 쓰이기 때문이다. 즉, 퀄컴과 애플의 2020년 PC와 유사하게 쓰이고 있다.

현재 AI가 곧 생성형 AI를, 온디바이스 AI가 온디바이스 생성형 AI를 의미하는 것임을 돌이켜볼 때, PC 시장에서는 확실한 킬러 앱이 존재치 않는다. 예를 들어 인텔은 ‘AI Everywhere’ 주간을 선포하고 성수동에서 AI PC 쇼케이스까지 열었으나, 제품에서 해볼 수 있는 온디바이스 생성형 AI는 512*512픽셀의 그림 만들기, 다양한 키워드로 작곡하기 정도밖에 없었다.

via GIPHY

인텔과 AMD 역시 이러한 문제를 인식하고 있으며, 각 회사의 지원을 통해 개발사들이 온디바이스 생성형 AI 앱을 만들도록 독려하는 중이다.

갈 길 먼 온디바이스 AI

스마트폰은 ARM의 저전력 프로세서 설계 위에서 피어났다. 즉, 고전력을 요구하는 생성형 AI를 온디바이스에서 구동하기에 적합한 제품이 아니다. 그러나 다양한 센서를 사용하고 늘 휴대하는 특성을 살리면 갤럭시 AI와 같은 킬러 앱이 탄생할 수 있다.

더 애매한 것은 AI PC다. 기존에도 온디바이스에서 구동 가능한 이미지 생성 툴 ‘Stable Diffusion’ 같은 서비스가 있었으나 이는 엔비디아 3000~4000번대 이상의 강력한 GPU를 필요로 하며, 현재 AMD와 인텔이 선보이는 NPU 수준으로는 원활하게 구동하기 어렵다. 인텔은 Gimp 등에 스테이블 디퓨전 1.5 플러그인을 사용할 수 있게 하고 있지만, 사용자들이 원하는 실사 수준의 이미지를 만들기 위해서는 여전히 강력한 GPU가 필요하다.

이외의 챗봇이나 이미지 생성 툴 모두 클라우드 기반 제품들이 훨씬 더 좋은 성능을 보이고 있다. 오픈 AI는 현재 영상 생성 툴까지 선보인 상태인데, 온디바이스 PC AI로는 현재 이미지 한장을 제대로 제작하기 어렵다. 이유는 변수를 다룰 수 있는 제품 성능 차이 때문이다.

최적화된 AI의 필요성

오픈 AI의 챗 GPT나 구글의 제미나이 등의 서비스는 엄청나게 많은 변수(파라미터)를 사용한다. 챗 GPT는 3 버전에서만 1750억개의 파라미터를 사용했으며, GPT 4에서는 1조개 이상의 변수를 사용했을 것으로 추정되고 있다. 스마트폰이 저전력 설계에서 꽃폈다면, 생성형 AI는 무지막지한 컴퓨팅 성능에서 태동한 것이다.

이 흐름에서 가장 큰 수혜를 입은 반도체 기업은 엔비디아로, A100, H100 등의 고성능 GPU를 출시하며 전 세계 GPU 시장 점유율 80%를 장악하고 있다. 엔비디아는 매분기 최대 실적을 갱신하며 시가총액 3위까지 오르기도 했다.

현재 온디바이스 AI를 강조하는 제조사들의 CPU는 저정도의 변수를 구동할 수 없다. 따라서 LLM(Large Language model)과 반대되는 개념인 SLM(Small Language model)을 개발하고, 이를 스마트폰과 PC에서 구동하려는 노력들을 하고 있다. 주로 340억개 이하의 변수를 다루는 LLM을 SLM으로 칭하며, 메타가 라마 2 7B, 13B, 22B 모델을, 구글이 제미나이 나노-1(1.8B), 나노-2(3.25B)를, MS가 파이-2 등을 선보이고 있다. 이처럼 비교적 적은 변수를 가진 모델로도 목적을 잘 설정하면 좋은 서비스가 탄생할 수 있다. 갤럭시 시리즈의 실시간 번역 등이 제미나이 나노에서 구동된다.

폭발적으로 성장하고 있는 온라인 생성형 AI 대비 온디바이스 생성형 AI는 최적화나 저전력 설계 등 갈 길이 멀다. 그러나 갤럭시의 사례처럼 소비자 니즈를 잘 파악하고, 적은 변수로도 훌륭한 서비스를 만들어낼 수 있을 것이다. PC 제조사의 온디바이스 AI 시대는 도래했지만, 소비자의 온디바이스 AI 시대는 아직 오지 않았다.

글. 바이라인네트워크
<이종철 기자> jude@byline.network