슈퍼컴퓨터급 AI성능의 그래프코어 IPU-POD를 알아보자

그래프코어가 첫 MLPerf 벤치마크 테스트에서 자사 IPU-POD 64가 슈퍼컴퓨터 수준의 AI 성능을 달성했다고 밝혔다. IPU-POD 16 또한 범용 AI 프로세서 중에서는 우수한 성능을 갖춘 것으로 나타났는데, 이로써 그래프코어는 다양한 범주에서 높은 성능의 AI 프로세서를 제공할 수 있을 전망이다.

우선 IPU-POD64에 대해 이해하기 위해서는, 그래프코어의 IPU부터 알고 있어야 한다. IPU(Intelligent Processing Unit)를 직역하면 지능처리장치인데, 그래프코어에서 개발한 AI 반도체다. 프로세서와 메모리를 결합해 인공지능 워크로드를 가속화했다는 장점을 가지고 있다.

기존에 사용되던 프로세서인 CPU, GPU의 경우에는 메모리와 프로세서를 외부에서 따로 연결해야 하는 오프칩(Off-Chip) 형태를 갖추고 있었다. 데이터를 처리하기 위해서는 메모리에서 프로세서로 데이터를 전송한 후 처리해야 하는데, 오프칩 형태의 경우에는 데이터가 이동하는 과정에서 번거로움과 시간 지연이 발생했다. 하지만 IPU는 프로세서와 메모리를 하나로 결합한 온칩(On-Chip) 형태다. 하나의 칩 안에서 모든 데이터를 처리하면서 AI 처리속도를 개선할 수 있었다. 더불어 1200개 이상의 병렬 코어를 탑재해 빠른 AI 데이터 처리가 가능하다.

IPU-POD 시리즈는 그래프코어가 출시한 IPU 솔루션이다. 그래프코어의 IPU M2000은 1페타플롭(1초당 1000조번의 연산 처리)의 AI 연산을 제공하는데, 이 IPU M2000을 여러 개 탑재해 더 높은 성능의 AI 프로세싱을 지원하는 솔루션이 이 IPU-POD이다.

현재 그래프코어가 공개한 솔루션은 ▲IPU-POD16 ▲IPU-POD64다. IPU-POD16은 IPU M2000을 4개 탑재해 4페타플롭의 AI 성능을 제공하는 시스템으로, 범용성 IPU 중에서는 가장 성능이 좋다. IPU-POD64는 IPU M2000을 16개 탑재해 16페타플롭의 성능을 제공하는 시스템이다. 주로 데이터센터와 같은 대용량 AI 처리에 사용된다. 65 이상의 제품도 출시할 계획을 가지고 있으나, 현재 그래프코어가 출시한 제품들 중 가장 용량이 높은 시리즈는 IPU-POD64다.

IPU-POD64는 대규모 AI 연산에 적합하도록 설계됐으며, 데이터센터 AI를 보다 효율적이고 간편하고 신속하게 운영할 수 있다. 또한 시스템 전반에 걸쳐 저지연 IPU 인터커넥트를 지원한다. 병목을 제거하고, 최고의 효율과 최대한의 성능으로 데이터센터를 운영할 수 있다.

이렇게 대용량 AI 데이터센터 프로세싱에 적합한 IPU-POD64는 MLPerf 벤치마크 테스트를 통해 슈퍼컴퓨터 수준의 AI 성능을 갖춘 것을 입증했다. 일반적으로 페타플롭 단위의 연산 능력을 갖추고 있으면 슈퍼컴퓨터라 칭한다. 그래프코어에 따르면, IPU-POD64 시스템은 인공지능 언어모델 버트(BERT)학습 시간에서 9분, 인공지능 이미지 레스넷50(ResNet50) 학습 시간에서 14.5분을 기록했다. 이는 타사의 시스템 대비 달러당 성능 지표보다 높은 수치다.

그래프코어의 가장 성능이 좋은 범용 IPU 시스템 ‘IPU-POD 16’도 우수한 성적을 거뒀다. IPU-POD 16의 경우, 레스넷50 학습에서 경쟁사 대비 1.6배, 버트 학습에서는 경쟁사 대비 1.3배 향상된 성능을 구현했다.

더불어 소프트웨어 기술력도 검증받았다. 그래프코어는 포플러(Popler)라는 소프트웨어 스택을 제공하고 있다. 이는 IPU를 통한 AI 처리를 위한 소프트웨어인데, 2020년 12월부터 2021년 6월까지 총 3번의 업데이트를 거쳐 지금은 스택 포플러 SDK(Poplar SDK)로 제공되고 있다. 업데이트 이후, 포플러 소프트웨어는 과거에 비해 레스넷50 학습 부문에서 2.1배, 버트 학습은 1.6배 향상된 성능을 보였다. 더 높은 정확도에 초점을 맞춘 평가인 에피션트넷(EfficientNet)에서는 기존에 비해 1.5배 향상된 성능을 보였다. 결국 AI 프로세서 부문에서는 소프트웨어와 하드웨어, 모두 잡은 셈이다.

강민우 그래프코어 한국 지사장은 “그래프코어는 이미 소프트웨어 스택을 모두 업데이트했고, 전 세계에 분포한 그래프코어 제품 사용자들은 높은 성능의 AI 프로세서의 이점을 누릴 수 있다”며 “앞으로도 MLPerf 검증을 지속적으로 받아 성능과 스케일을 향상시키고, 모델을 지속해서 추가해 나가는 등 자사의 목표를 달성해 나가기 위해 노력할 것”이라고 전했다.

한편, MLPerf는 프로세서 간 성능을 비교할 때 사용되는 대표적인 벤치마크 테스트다. AI가 다양한 분야에 확산되면서 성능을 측정하는 기준도 명확해야 하는데, MLPerf는 컴퓨터 비전, 의료 이미징, 추천 시스템, 음성 인식 및 자연어 처리 등 다양한 부문에서 테스트를 진행하고, 검증한다.

글. 바이라인네트워크
<배유미 기자> youme@byline.network