생성 AI 연구자들은 왜 반도체만 바라보는가

“생성 AI·초거대 AI의 경쟁은 결국 돈싸움입니다.”

이번 <생성 AI가 가져올 변화> 시리즈 기사를 위해 취재하다 만난 한 전문가는, 현재의 생성 AI 기술 경쟁에 대해 “돈싸움“이라고 말했다. 생성 AI 경쟁에서 이기기 위해서는 기술력보다 자본력이 더 중요한 요소라는 것처럼 들린다.

그는 왜 이렇게 말했을까?

AI가 더 좋은 결과물을 내게 하기 위한 핵심요소는, 의외로 기술력이 아니다. 중요한 알고리즘이나 모델은 이미 공개돼 있기 때문이다. 공개된 기술을 활용해 더 큰 모델을 만들고 더 많은 데이터를 학습하는 것이 더 뛰어난 결과를 가져온다고 한다.

이를 위해서는 더 많은 연산 처리능력이 필요하다. 소프트웨어적 기술은 당연히 중요하지만, 그에 못지 않게 중요한 것(어쩌면 더 중요한 것)은 컴퓨팅 파워, 즉 하드웨어 인프라 경쟁력이다.

특히 생성 AI를 만들기 위해서는 반도체가 핵심 경쟁력이다. 더 저렴하면서 더 많은 일을 할 수 있는 반도체가 절실한 상황이다. 반도체 기업이 생성AI를 위한 반도체 개발에 팔을 걷어 붙인 이유도 이 때문이다.

예를 들어 SKT AI반도체 자회사 사피온은 지난 해 10월 AI 자동학습 플랫폼 업체 호두에이아이랩과 협력해 개발한 AI모델 자동 생성 솔루션 ‘오토 트레이너’를 선보였다. 국내 AI반도체 스타트업 리벨리온도 지난 11월 메타버스 콘텐츠 아트테크 기업 비브스튜디오스와 메타버스 콘텐츠 사업을 위한 생성형 AI 공동 개발 업무 협약을 체결했다. 반도체 업계가 생성AI를 주목하고 있음을 알 수 있는 대목이다.

생성 AI에 NPU가 필요한 이유

현재 AI 분야에 주로 사용되는 반도체는 그래픽 처리장치(GPU)다. GPU는 본래 그래픽 처리 속도를 높이기 위해 만들어진 프로세서지만, 데이터를 한 번에 대량으로 처리하는 ‘병렬 처리 방식’을 취하고 있다는 특성 때문에 AI 분야에서 각광을 받고 있다.

GPU 시장의 최강자는 엔비디아다. 시장조사업체 존 페디 리서치에 따르면, 엔비디아는 GPU 시장에서 점유율 86%를 차지하고 있다. 엔비디아는 AI 처리를 위한 GPU ‘GPGPU’를 개발했다. 여기에 GPU를 활용한 AI를 수월하게 개발할 수 있도록 GPU 프로그래밍 언어 쿠다(CUDA)와 소프트웨어 스택도 제공한다.

AI개발 진입장벽을 낮추면서 엔비디아는 AI 부문에서 시장을 확대해 나갈 수 있었다. 시장조사업체 옴디아에 따르면, 2021년 기준 엔비디아 GPU가 전체 AI 반도체 시장에서 차지하는 점유율은 90% 가량 된다.

현재 AI 반도체 스타트업은 신경망 처리장치(NPU)를 중심으로 프로세서를 개발하고 있다. NPU는 말 그대로 인간의 신경망과 같은 구조로 데이터를 처리하는 프로세서를 말한다. 중앙처리장치(CPU)나 GPU는 입력되는 데이터를 순차적으로 처리하는 폰노이만 아키텍처를 가지고 있다. 하지만 NPU는 동시다발적인 행렬 연산에 최적화된 프로세서로 여러 개의 연산을 실시간 처리하는 구조를 가지고 있다.

앞서 언급한 것처럼, 아직 AI반도체 시장에서는 GPU가 우위를 점하고 있다. 워낙 생태계를 탄탄히 잘 잡아 놨기 때문이다. 게다가 NPU는 이미 개발자에게 익숙한 폰노이만 아키텍처가 아닐 뿐더러, 소프트웨어 스택도 GPU처럼 잘 갖춰져 있지 않다. 아직 진입장벽이 높다는 의미다.

그럼에도 NPU 시장에 기대를 걸 수밖에 없는 가장 큰 이유는 생성AI를 비롯한 초거대 AI 모델을 꾀하는 곳이 늘어나고 있기 때문이다. GPU는 애초에 AI 처리를 위해 만들어진 프로세서가 아니다. GPU로 생성AI나 초거대AI 처리를 하기 위해서는 코어 수를 늘려야 하는데, 그 과정에서 가격이 높아지고 전력 소모가 커진다. 또한 프로그램을 돌리기에도 무거운 형태가 된다. 효율성이 낮아지는 것이다.

한 AI반도체 업계 관계자는 “대용량의 데이터를 학습해야 생성AI는 제 역할을 할 수 있는 건데, 이 과정에서 컴퓨팅 비용이 증가한다”며 “이 비용을 낮출 수 있는, AI 처리를 위한 프로세서가 개발돼야 AI 시장도 더욱 확장할 수 있을 것”이라고 말했다.

하지만 NPU 시장은 아직 초기 단계다. NPU 시장 확대에 필요한 기술 개발 과제도 많이 남아있다. 하지만 시장에 대한 업계의 기대감은 크다. 시장조사업체 가트너는 AI반도체 시장 규모가 2019년 134억9000만달러(약 16조6000억원)에서 2025년 767억7000만달러(약 94조4700억원)까지 성장해 연평균성장률 33.62%를 달성할 것이라 전망했다.

한국전자통신연구원(ETRI)은 2021년 12월 자체 개발한 NPU를 공개했는데, AI서버에 도입했을 때 GPU 기반 AI 서버 대비 연산 성능이 4배 늘었다고 밝혔다. 전력 효율성은 7배 늘었다고 덧붙였다. 더불어 정부는 AI반도체 부문에 향후 4년 간 1조200억원을 투자하겠다고 밝히기도 했다. 그만큼 국가 차원에서의 기대를 한 몸에 받고 있는데, NPU 시장의 성장은 생성AI와 초거대 AI 모델 구현에도 활력을 불어넣을 것으로 보인다.

프로세서만큼 중요한 요소, 메모리

생성AI가 제 역할을 하기 위해서는 NPU 못지 않게 중요한 요소가 또 하나 있다. 바로 메모리다. 통상 메모리, 하면 처리한 데이터를 저장하는 역할을 한다고만 생각할 수 있다. 하지만 메모리는 데이터를 처리하는 데에도 중요한 역할을 한다.

처음 프로세서에 입력된 데이터는 휘발성 메모리 D램에 임시 저장된다. D램은 프로세서의 성능에 맞춰 데이터를 두뇌와 같은 ‘코어’에 조금씩 전송한다. 다시 말해 D램은 코어가 처리해야 할 데이터를 담아 놓는 가방 정도로 비유할 수 있겠다.

그런데 한 번에 처리해야 할 데이터의 양이 많아지면 코어는 과부하가 걸린다. 주어진 업무를 한번에 처리하기 위해 한 번에 가방에서 많은 것을 꺼내 손에 들고 있는 모습을 생각하면 된다. 결국 이는 데이터 병목현상으로 이어진다. IT 기술의 발전으로 세계 데이터 양이 늘어나고 있다는 점을 감안하면, 이후 프로세서에서 데이터 병목현상이 발생할 가능성은 더욱 높아질 전망이다.

메모리 기업은 데이터 병목현상을 제거할 수 있는 메모리를 개발하기 시작했다. 그 중 하나가 PIM(Processing In Memory)다. PIM은 데이터 처리 기능이 탑재된 메모리를 말한다. PIM 메모리는 코어가 데이터를 수월하게 처리할 수 있도록 데이터를 가공한다. 이로써 코어는 더 빠르고 효율적으로 데이터를 처리할 수 있다.

삼성전자는 공식 홈페이지에 “PIM은 메모리 내부에서 일부 연산 처리를 가능하게 해 성능을 극대화했다”며 “기존 메모리 솔루션 대비 이론적으로 성능을 최대 4배 개선할 수 있는데, 슈퍼컴퓨터, 데이터센터 등 초고속 데이터 분석을 요구하는 인공지능의 발전에 효과적인 솔루션을 제공할 것”이라고 설명하고 있다.

주요 메모리 기업은 PIM, 혹은 메모리 가까운 곳에서 데이터 처리 부품이 탑재되는 프로세싱 니어 메모리(Processing Near Memory, PNM) 개발에 팔을 걷어 붙였다. 삼성전자는 2021년 2월 고대역폭 메모리(HBM)와 PIM을 결합한 HBM-PIM을 세계 최초로 개발했다고 밝혔다. 당시 회사 측은 기존 HBM2 기반의 시스템 대비 성능은 2배 이상 높아졌고, 에너지 소모는 70% 이상 감소했다고 설명했다.

SK하이닉스는 2022년 2월 자체 개발한 PIM을 대중에 공개했다. SK하이닉스는 SKT 자회사 사피온과 협력해 AI반도체 부문에서의 성과를 지속해서 선보이겠다는 포부를 가지고 있다. 글로벌 메모리 시장점유율 3위 기업인 마이크론도 PIM 반도체 개발에 뛰어들었다.

PIM을 비롯한 차세대 메모리 개발이 생성AI에만 국한돼서 적용되지는 않을 것이다. 고성능 컴퓨팅, 메타버스, AI 등 기술 발전이 이뤄지는 분야는 다양하기 때문이다. 또한 NPU, PIM 자체도 성능, 비용 등 다방면으로 개선해야 할 점이 존재하며, 아직 시장도 초기 단계다. 따라서 아직은 그 가능성을 체감하지 못할 수도 있다.

그럼에도 업계는 생성AI 시대가 본격적으로 도래하는데 반도체 기술의 역할이 크다고 본다. 아무리 소프트웨어가 발전해도 이를 뒷받침할 하드웨어가 없으면 시스템을 구동할 수 없기 때문이다. 결국 프로세서의 발전은 생성AI 시장의 확대에 속도를 붙일 것으로 예상된다.

글. 바이라인네트워크
<배유미 기자>youme@byline.network