[그게 뭔가요] 엔비디아를 떼돈 벌게 한 ‘가속 컴퓨팅’

엔비디아의 몸값이 뜨겁게 오르고 있다. 시가총액이 1조달러를 넘어서면서 애플, 알파벳(구글), 아마존, 페이스북 등 빅테크들과 어깨를 나란히 했다.

엔비디아의 위상을 끌어올린 일등공신은 이 회사의 핵심 제품인 컴퓨터 그래픽 처리장치(GPU)다. 원래는 대용량의 그래픽을 처리하기 위해 만들어진 이 하드웨어가 최근 인공지능(AI) 열풍을 타고, 컴퓨터의 성능을 끌어올리는 가속 컴퓨팅의 핵심이 됐다.

가속 컴퓨팅(accelerated computing)이란 무엇인가?

말 그대로 컴퓨터의 작업 성능을 ‘가속(더 빠르게)’하는 것이다. 스마트폰부터 슈퍼컴퓨터까지, 모든 컴퓨팅 기기들이 점점 더 빠른 연산 속도를 필요로 하는데 이를 지원하기 위해 만들어진 기술이다. 엔비디아의 GPU 같이 빠른 연산을 가능하게 하는 특수한 하드웨어를 써서 가속 컴퓨팅을 가능케 한다.

대표적인 하드웨어 가속기가 GPU다. 컴퓨터의 두뇌라고 불리는 CPU(중앙처리장치)는 하나의 일을 끝내야 다음 일로 넘어가는 ‘직렬 방식’이다. 반대로, GPU는 CPU보다 할 수 있는 일은 적지만 대신 나열된 여러가지 계산을 동시 다발로 할 수 있는 ‘병렬 방식’이다. 즉, 멀티가 된다. 단순 계산을 대량으로 아주 빨리 해야 하는 머신러닝과 같은 영역에서 GPU의 도입은 획기적 성과를 가져왔다.

GPU를 활용한 가속 컴퓨팅이 사람들의 뇌리에 꽂힌 사건은 ‘알렉스넷’의 등장이다. 이미지 분류 알고리즘의 성능을 평가하는 경진대회(IRSVRC, 이미지넷 챌린지)에서 2012년 딥러닝 방식으로 압도적 성적을 내면서 일등을 했다.

이때 엔비디아 GPU가 쓰였다. 직전 해인 2011년 엔비디아 측은 “12개의 엔비디아 GPU가 무려 2000개의 CPU에 맞먹는 딥러닝 성능을 발휘했다”고 발표했다. 이 발표가 함의하는 바는, 같은 내용의 연구라도 GPU를 활용한 가속 컴퓨팅을 사용하면 작업에 걸리는 시간이 대폭 줄어든다는 것이다.

이전에는 한 연구자가 일평생을 연구해도 풀지 못했을 규모의 연구를 가속 컴퓨팅을 통해 성과를 낼 수 있게 됐다.

또 하나. 에너지 효율의 측면에서 가속 컴퓨팅이 부각되기도 한다. 앞서 언급했듯 GPU의 계산 효율성이 좋으므로 CPU를 덜 쓰게 되서 전기를 아낀다는 개념이다. 2022년 엔비디아 측이 작성한 기술 블로그에 따르면, AI 추론에 CPU 대비 GPU의 에너지 효율성이 42배나 높다.

엔비디아 측은 이를 두고 “AI를 구동하는 세계 CPU 전용 서버 일체를 GPU 가속 시스템으로 전환하면 연간 10조 와트시(Wh)에 달하는 에너지를 절약할 수 있다. 이는 140만 가구의 1년치 에너지 소비량을 아끼는 것과 같다”고 설명했다.

가속 컴퓨팅은 어떻게 작동하나

앞서 언급했듯, 병렬 처리 기법을 사용한다. 병렬 컴퓨팅이 직렬과 뭐가 다른지는 유튜브에 올라와 있는 ‘엔비디아의 과학 실험’이라는 영상을 보면 빠르게 이해할 수 있다. 다음 영상을 참고하자. 2008년 엔비디아 nVision 행사 영상이다.

(출처=유튜버 ‘개발자 라라’의 페이지)

CPU가 아무리 빠르게 작업해도(오버 클러킹) GPU의 속도를 따라잡을 수 없다. 스마일 하나를 점 하나씩 정성스레 찍으면서 그리는 동안, GPU는 한방에 모나리자의 미소를 찍어낸다. 영상에서 보다시피, GPU는 무지하게 많은 코어를 가지고 있다. 동시에 연산하는 데는 압도적 능력을 갖고 있는 것이다.

이를 조금 더 자세하게 말한다면, CPU가 맡고 있는 여러 역할 중에 연산 부분을 엄청나게 많은 코어를 가진 GPU가 떼어와서 맡아 처리한다. 계산의 부하에서 해방한 CPU는 다른 업무를 효율적으로 빠르게 할 수 있다.

가속 컴퓨팅을 위해서는 하나 이상의 프로세서, 또는 코어를 사용하는 이기종 컴퓨팅(heterogeneous computing) 시스템이 주로 쓰인다. 앞의 그림에서 보듯, CPU와 GPU, DPU(데이터 프로세싱 유닛) 등을 섞어 쓴다. 서로 다른 유닛을 경계 없이 섞어서 쓰면서, 소프트웨어가 필요로 하는 자원을 마음대로 가져다 쓸 수 있도록 했기 때문에 ‘헤테로지니어스(이기종)’라는 이름이 붙었다.

가속 컴퓨팅이 확산되면서부터는 사용 목적에 따라서 하드웨어 시스템이나 소프트웨어 스택 역시 다양해지고 있다. 애초에 GPU도 그래픽 처리 목적으로 만들었으나, 최근에는 어떤 GPU는 그래픽 처리 능력을 아예 갖고 있지 않은 경우도 있다. 심지어는 단순한 계산이 아주 많이 필요할 경우에는 비트(bit) 수를 줄여 해당 목적의 계산에만 최적화한 상태의 제품이 나오기도 한다.

무엇에 사용하나

많은 연산이 필요한 곳에 쓰인다. 우주나 신경과학처럼 매우 복잡하고 어려운 영역에서도 물론 쓰지만, 그렇다고 우리 삶과 거리가 먼 것은 아니다. 늘 쓰고 있는 스마트폰, 컴퓨터, 자동차 등 자주 접하는 모든 기기에 가속 컴퓨팅 기술이 적용된다. 게임이나 가상현실(VR)과 같은 모든 응용프로그램(애플리케이션)의 원활한 서비스를 위해서 가속 컴퓨팅이 사용된다.

AMD 측은 자사 기술 블로그에서 “가속 컴퓨팅은 오늘날 다양한 애플리케이션과 산업에 사용되고 있다”면서 “특히 5G가 출시된 후 사물인터넷(IoT), 더 빨라지고 많아진 금융 거래, 운전자 주행 보조, 비디오 게임 등의 고품질 시뮬레이션과 그래픽 등이 이에 의존하고 있다”고 설명했다.

당연히 인공지능 연구도 이에 포함된다. 가파르게 성장하는 인공지능 산업에서 대규모 언어 모델을 훈련할 수 있는 인프라는 필수다.

젠슨 황 엔비디아 최고경영자(CEO)는 지난 5월 벨기에 앤트워프에서 열린 ITF 월드 2023(ITF World 2023) 반도체 컨퍼런스에 참석해 “물리적 세계를 이해하고 추론하며 상호 작용할 수 있는 지능형 시스템, 즉 ‘구체화된 AI(embodied AI)'”를 소개하며, 이를 ‘AI의 다음 단계’라 설명했다.

그 예시로는 로봇 공학, 자율 주행 차량, 나아가 물리적 세계를 이해한 뒤 더 똑똑해진 챗봇 등이 있다. 또다른 컨퍼런스에서는 모든 제조업에 AI가 적용될 것을 말하기도 했는데, 그만큼 가속 컴퓨팅이 쓰이는 영역이 늘어날 것이라는 이야기다.

가속 컴퓨팅을 이끄는 회사들

• 엔비디아

가속 컴퓨팅에서 엔비디아를 빼놓고는 이야기를 할 수 없다. 인공지능 개발에 쓰는 GPU의 시장을 엔비디아가 90% 라는 압도적  숫자로 점유하고 있다. 엔비디아는 최근 GH200 그레이스 호퍼(Grace Hopper) 슈퍼칩 양산에 돌입하기도 했다. 이를 통해 복잡한 AI와 고성능 컴퓨팅(HPC) 워크로드를 실행하기 위한 시스템을 지원한다는 계획을 세웠다.

• AMD

역시 GPU를 만드는 곳이지만 가속 컴퓨팅 시장에서 그간 엔비디아의 독주에 힘을 못써왔다. 그러나, AMD의 구원 투수로 불리는 리사 수 CEO가 최근 AI 시장에 도전장을 냈다. GPU와 CPU를 결합해 성능을 끌어올린 생성형 AI 맞춤 가속기 인스팅트 MI300 시리즈를 올 연말께 출시한다.

리사 수 CEO는 “AI는 차세대 컴퓨팅을 형성하는 핵심 기술이자 AMD에게 가장 큰 전략적 성장 기회로서, 올해 말 계획된 인스팅트 MI300 가속기 출시와 하드웨어에 최적화된 엔터프라이즈용 AI 소프트웨어의 생태계 성장을 발판 삼아 데이터 센터에서 대규모 AMD AI플랫폼 구축을 가속화하는 데 주력할 계획이다”고 밝혔다.

• 구글

지난 2016년, 텐서 처리 장치(TPU)를 발표했다. 애플리케이션별 집적회로(ASIC)로서, 머신러닝 워크로드를 빠르게 처리하는 데 쓰인다. 벡터와 행렬 연산의 병렬처리에 특화되어 있다. 구글의 검색이나 번역, 사진 등 AI를 필요로 하는 서비스를 처리하는데 바로 이 TPU가 인프라로 쓰인다.

• 그리고, AI 반도체의 등장

세계 GPU 시장의 90%를 엔비디아가 먹고 있고, GPU 없이는 AI가 돌아가지 않는다는 판단에 엔비디아 GPU의 몸값이 천정부지로 뛰고 있다. 따라서 시장에서는 AI만을 위한 새로운 반도체를 만들겠다는 플레이어들이 새롭게 등장하고 있다. 그중에는 우리나라의 리벨리온, 사피온, 퓨리오사AI 같은 곳도 포함돼 있다.

* 클라우드 네이티브 보안과 제로트러스트 컨퍼런스 6월 27일 개최