[컴업스타즈] 코드 두 줄로 어떤 회사 NPU든 쓰게 한다, 제틱에이아이

‘컴업 2024’와 관련한 더 많은 이야기를 만나보세요! -> 컴업 2024 특별 페이지 바로 가기

“많은 인공지능(AI) 기업이 막대한 그래픽처리장치(GPU) 서버 클라우드 비용으로 인해 수익창출에 어려움을 겪고 있다. 이런 상황에서 클라우드 사용을 대체하는 온디바이스AI가 각광을 받고 있다.”

김연석 제틱에이아이 대표(=사진)는 최근 열린 스타트업 축제 <컴업2024>의 ‘컴업스타즈’ 피칭 무대에서 온디바이스AI의 확산을 강조했다. 제틱에이아이는 AI 기업들이 온디바이스AI를 쉽게 구현할 수 있는 범용 소프트웨어를 만든다. 제틱에이아이의 소프트웨어(SW) 프레임워크를 사용하면 스마트폰의 신경망처리장치(NPU)를 활용하는 온디바이스AI를 구현할 수 있다. 이 경우 GPU 사용 대비 비용을 대폭 절감할 수 있다는 점에서, 제틱에이아이가 경쟁력을 갖췄다는 것이 김 대표의 설명이다.

온디바이스AI는 기기 자체에 탑재되어 AI 서비스를 제공하는 기술을 말한다. 그러니까, 기존에는 AI 연산을 위해 외부 서버, 클라우드가 활용됐다면, 제틱에이아이는 이를 스마트폰에 탑재된 NPU를 활용하도록 했다. NPU는 GPU 대비 연산속도가 최대 60배 빠르며, 전력 소모를 줄인다. 이렇게 되면 GPU, CPU 사용 비용을 절감할 수 있는 동시에 연산 속도가 훨씬 빨라지는 이점이 있다. 많은 AI 기업들이 온디바이스AI를 구현하려는 이유다.

제틱에이아이가 제공하는 온디바이스AI가 가능한 배경은 퀄컴, 애플 등 모바일 칩 제조사들이 2010년대 후반부터 스마트폰에 NPU를 탑재했기 때문이다. 그럼에도, 현재까지 다양한 모바일 NPU를 범용적으로 지원하는 SW가 부족한 상황이다. 그렇다고 AI 서비스를 하는 기업들이 퀄컴, 애플 등과 일일이 제휴를 맺는 것은 현실적으로 어렵다. 제틱에이아이는 다양한 NPU 환경을 한 번에 지원하는 SW를 개발했다. 코드 몇 줄만 입력하면 애플, 퀄컴 등 다양한 모바일에 AI 서비스를 배포, 온디바이스AI를 구현할 수 있다는 것이 회사 측의 설명이다.

제틱에이아이는 AI 서비스 수요는 높지만 여기에 드는 인프라 비용이 비싸고, 온디바이스AI를 하기 현실적으로 어려운 시장의 문제점에 주목했다. <바이라인 네트워크>는 지난 16일 김연석 제틱에이아이 대표와 전화 인터뷰를 진행해 회사가 어떤 서비스를 하고 있는지, 공략하고 있는 시장은 어디인지 등을 물었다.

-본인 소개해달라

알파고 쇼크 이후 AI 열풍이 불던 초창기 시대부터 임베디드AI 분야에서 온디바이스 AI를 시작했다. 당시 온디바이스AI라는 말이 없었지만 퀄컴에서 모바일 부문 AI를 담당했고, 이 경력을 바탕으로 제틱에이아이를 창업했다.

-온디바이스AI, 요즘 유행처럼 많이 쓰는 단어인데 무엇인가?

AI 연산을 서버에서 하지 않고 우리 주변의 기기에서 해, AI를 우리 일상으로 가져오는 개념이라고 볼 수 있다.

-서버 없이 어떻게 연산이 가능한 것인가?

온디바이스AI를 구성하려면 총 세 가지가 필요하다. GPU를 대체할 수 있는 강력한 기계가 있어야 하고, 이를 최적화시켜야 하며, 이를 돌릴 수 있는 소프트웨어(SW)가 필요하다. 우리 주변에서 가장 강력한 기계는 스마트폰이다. 대략 2018년 경부터 스마트폰 반도체 제조사들이 신경망처리장치(NPU)라고 하는 AI용 프로세서를 제조해 스마트폰에 탑재하기 시작했다. 우리 주변 많은 사람들이 AI용 프로세서를 들고 다니고 있는 셈이다. 저희는 이를 활용하고 있는 SW 프레임워크를 만들어 온디바이스AI를 가능하게 하고 있다.

-SW 프레임워크는 온디바이스AI를 위해 어떤 역할을 하나?

GPU의 경우 엔비디아라는 지배 기업이 있다. 그러니까 많은 기업들이 엔비디아를 쓰는 만큼 GPU를 통해 바로바로 서비스를 할 수 있다. 반면, 스마트폰의 경우 제조사, 하드웨어 등이 다르다. 제틱에이아이는 이를 통합하는 SW를 만들어 다양한 스마트폰에 한 번에 AI 서비스를 배포할 수 있도록 하고 있다.

-요즘 온디바이스AI가 주목받는 이유는?

GPU를 구축하고 운영하는데 돈이 많이 들기 때문에, 많은 AI 기업들이 비용적 부담을 안고 있다. 인프라 비용 때문에 온디바이스AI가 주목받고 있다. 특히 (최근 나오고 있는) AI 서비스는 스마트폰을 통해 이뤄지고 있는 만큼 접근성이 좋다. 기존에는 클라우드에서 연산을 하고 결과물을 스마트폰에 보여주기만 했다면, 스마트폰에 있는 컴퓨팅 파워를 사용하면 AI 기업은 비용 문제를 해결할 수 있다. 또 (스마트폰에서 연산이 이뤄지고 있어) 사용자의 개인정보보호를 강화하고, 서비스의 속도를 높이고, 네트워크가 없는 곳에서도 AI 서비스를 이용할 수 있는 이점이 있어 주목받고 있다.

-제틱에이아이, 어떤 서비스를 하고 있나?

서버에서 AI서비스를 만들 듯, 저희 SW를 사용해 서비스를 개발하면 온디바이스AI로 동작할 수 있다. 현재 베타 버전으로 출시한 상태다.

-온디바이스AI를 활용하고 싶어하는 기업들이 있나?

GPU 클라우드 비용이 비싸기 때문에 AI 서비스를 하는 기업들이 (이 비용을 줄이기 위해) GPU에 대한 의존성을 없애고 싶어한다. 또 AI 서비스가 사용자 데이터를 서버로 보내고 있는데, 온디바이스AI를 사용할 경우 (서버에 데이터를 보내지 않아도 되기 때문에) 사용자 데이터 보호가 이뤄질 수 있어, AI 기업들에게 수요가 있다.

-제틱에이아이의 핵심 기술력은 무엇인가?

AI 서비스 실행을 위해 NPU를 활용하도록 하는 것이 저희의 핵심 기술이다. 지금은 핸드폰 제조 회사가 퀄컴, 미디어텍, 애플 등 다양하기 때문에 서비스를 만들면 여러 회사에 배포해야 한다. 저희는 (기업들이 AI 서비스를 배포하면) 애플, 퀄컴 등 각 기업별 NPU를 활용할 수 있도록 만들었다. 기업 입장에선 앱 개발하듯, 코드 두 줄이면 애플, 퀄컴 등 여러 제조사의 NPU를 활용할 수 있다.

-이 기술을 개발하기까지 얼마나 걸렸나?

엔지니어 두 명이 올 4월부터 6개월간 제품 개발에 매진했다. 기존에 없던 기술을 만들었다기 보다, 기존에 어렵게 되어 있던 것을 저희가 고속도로를 뚫었다고 보면 된다. 고객사 개념검증(PoC)을 한지는 한 두달 정도밖에 안됐다.

-고객 활용 사례를 소개해달라

고객사는 크게 세 가지 부분으로 나눌 수 있다. 첫 번째는 온디바이스AI를 어떻게 하는지 몰라 서버를 사용하는 기업, 두번째는 전체 하드웨어가 아닌 특정 하드웨어(HW)에만 서비스를 제공하고 있던 기업(가령, 애플 기기에만), 세번째는 온디바이스AI를  저성능으로 제공하고 있던 기업으로 나뉜다.

먼저, 세번째 기업의 경우 저희의 기술을 도입한 결과, 기존에 1초당 영상 처리를 50~60장 하던 것을 1초당 180장 이상 처리할 수 있도록 속도가 개선됐다. 특정 HW에만 서비스를 제공하던 두번째 사례 기업은 애플 외에도 안드로이드 등 다른 시장으로 진출할 수 있도록 돕고 있다. 마지막은 인도 의료 서비스 기업으로, 사용자가 많아 1년에 발생하는 서버비를 감당하기 어려운 상황이었다. 저희 제품을 쓰고 나서 GPU 대신 NPU를 활용하게 된 만큼 서버비를 절감, 의료 데이터에 대한 규제 이슈도 해결할 수 있었다.

-비용절감의 경우 NPU를 사용하면 GPU 대비 얼마나 할 수 있나?

만약 GPU 사용비가 기존에 연간 몇 천만원이었다면, 저희 제품을 씀으로서 (GPU를 쓰지 않게 되기 때문에) 이 비용이 0이 된다. 저희 제품을 쓸 때 내는 비용은 AI 서비스가 배포되어 설치될 때 발생하는 건당 라이선스 비용에 해당된다. 예를 들어, 앱을 출시하면 사용자 한 명당 0.1달러를 받는 등 서비스가 배포되는 사용자 수만큼 수익을 가져가고 있다.

-온디바이스AI에 대한 국내 수요도 높은 편인지?

AI 서비스 기업들이 아직까지 서버를 쓰고 있다. 그렇기 때문에 온디바이스AI에 대한 수요는 전세계에서 있다. 또 경기가 안 좋은 가운데 AI 서비스 기업들도 돈을 벌어야 하는 상황이 됐고, 비용 구조를 개선하고 싶어한다. 제일 큰 비용이 AI 인프라 비용이고, 그 대안이 온디바이스AI이다보니 시장에 대한 수요는 크다.

-수요가 큰 만큼 온디바이스AI를 서비스하는 기업들도 많을 것 같다. 제틱에이아이의 강점은 무엇인가?

NPU를 쓸 수 있도록 하는 것 자체가 강점이다. NPU는 CPU, GPU 대비 최대 60배 빠르다. 그러니까 여러 운영체제(OS), 여러 HW를 한 번에 지원하고 있는 것이 강점이다.

-고객사는 얼마나 확보하고 있나?

제품 판매를 시작한지 두달 정도 됐다. 국내 고객사는 한 곳, 외국계 기업들은 논의 중이다.

-글로벌 진출로 어느 국가를 염두하고 있는지?

염두하고 있는 곳은 미국인데, 지금은 인도 시장에서 연락을 많이 받고 있다. 내년 초 미국 기업을 적극적으로 유치할 계획이다.

-서비스 대상 규모가 제틱에이아이가 생각하는 타겟층(기업)보다 공장, 자동차, 국방 등이 더 큰 것 같은데

개인적으로는 AI로 당장 임팩트를 줄 수 있는 것은 사용자들의 주머니, 손바닥에 있는 스마트폰이라고 생각한다. AI 서비스를 만드는데 특정 OS, 환경에서만 제공한다는 것 자체가 잘못됐다고 보고 있어, 여러 환경에 서비스를 한 번에 배포할 수 있는 SW 프레임워크를 만들었다. 저희가 AI 모델을 만들지 않는 이유, 모바일이 아닌 다른 쪽으로 서비스를 확장하지 않는 이유다.

-제틱에이아이가 바라보고 있는 AI 시장은 어떠한가?

온디바이스AI를 통해 기존의 네트워크에 제한됐던 AI 서비스를 네트워크 인디펜던트(독립) 환경에서 제공하고, 네트워크 지연이 없는 실시간 AI 시장을 가져오고 있다. 국내에서 고객사를 빠르게 확보한 뒤, 글로벌 시장으로 진출해 최종적으로 AI서비스를 만드는데 있어 저희 서비스가 필수가 될 수 있도록 AI SW의 표준이 되고 싶다.

-회사의 비전은 무엇인지?

저희의 비전은 명확하다. 글로벌 온디바이스AI를 빠르게 모두(사용자)의 손바닥, 주머니로 가져와서, AI가 바로 옆에 있는 시장이 되도록 만들고 싶다.

-투자유치 현황은 어떠한가?

올 4월 시드 투자를 받았고, 내년 초 다음 라운드를 진행할 예정이다.

-컴업2024 선정 혁신 스타트업 10곳에 이름을 올렸다고. 축하한다. 소회는 어떤가?

기대보다 좋은 성적을 받을 수 있어서 좋았다. 내부적으로 지금까지의 노력들을, 세상에 임팩트를 줄 수 있겠다는 자신감을 얻었다. (컴업2024 혁신 스타트업 선정은) 저희에게 더 큰 성장을 하기 위한 좋은 영양제이자 동기부여가 된 것 같다.

글. 바이라인네트워크
<홍하나 기자>0626hhn@byline.network