AI반도체 기업은 모두 한다는 MLPerf는 무엇?
인공지능(AI) 시장이 성장하면서 관련 반도체 기업 수도 전 세계적으로 증가하고 있다. 그간 AI에는 엔비디아에서 만드는 범용 프로세서 GPU(Graphic Processing Unit)가 주로 사용됐다. 하지만 AI 성능이 좋아지면서, GPU만으로는 이 시장을 충족하기 어려운 시점이 왔다. 결국 NPU(Neurap Processing Unit)를 비롯한 AI 전용 반도체를 직접 개발하는 기업이 등장하기 시작했다.
아직 AI반도체 시장은 초기 단계다. 종류와 특성이 너무 다양하고, 아직 시장 전반에서 통용되고 있는 지배적인 반도체도 없다. 다만 어느 정도 시장에서 영향력 있는 AI반도체 기업은 입을 모아 MLPerf 벤치마크 테스트 결과를 인용한다. 뿐만 아니라 AI반도체 기업은 이 인증을 받기 위해 제품을 개발하고 최적화한다. 그만큼 MLPerf가 이 시장에서 공신력 있는 테스트라는 셈이다.
MLPerf가 공신력을 가지기까지
MLPerf 벤치마킹 테스트에서는 AI반도체가 정확한 결과값을 얼마나 빠르게 출력해 내는지를 평가한다. AI반도체 기업은 프로세서, 메모리, 디스크, 인터커넥터 등으로 구성된 하드웨어에 운영체제, 컴파일러, 라이브러리, 드라이버 등 AI 최적화를 돕는 소프트웨어를 추가해 하나의 시스템을 만든다. 이 시스템으로 AI 처리 성능 테스트를 진행한다.
테스트는 8개 부문에서 진행된다. 구체적으로 ▲이미지 분류 ▲물체 검출(경량) ▲물체 검출(중량) ▲생체 의학 이미지 분할 ▲자동 음성 인식(ASR) ▲자연어 처리(NLP) ▲추천 ▲강화 학습부문으로 나뉜다. 큰 범주로 보면 컴퓨터 비전, 추천 시스템, 언어 처리, 메디컬 이미지로 나뉜다. 모두 AI시장에서 급부상하는 분야다.
이 테스트가 진행되기 시작한 것은 구글, 마이크로소프트, 페이스북, 스탠포드, 하버드 등 기업과 연구기관은 2018년 MLPerf 컨소시엄을 구성하면서부터다. AI반도체 시장에는 중립적인 평가지표가 필요한 상황이었다. AI 수요가 늘어나면서 100개 이상의 기업이 관련 칩 시장에 뛰어들었다. 게다가 각 반도체에 적용되는 소프트웨어와 프레임워크, 라이브러리도 12개 이상이다. 그만큼 AI반도체 종류와 특징도 매우 다양한데, 이를 한 번에 중립적으로 평가하기에는 어려움이 있었다. MLPerf 벤치마킹 테스트는 이에 대한 해결책을 제시했다.
AI반도체 시장에서 MLPerf는 이미 공신력 있는 벤치마크 성능으로 자리잡았다. 주요 기업과 기관이 구성한 컨소시엄 측에서 진행하는 테스트인 데다가, 참가 조건부터 까다롭고 테스트 과정도 복잡하기 때문이다.
한 국내 주요 AI반도체 팹리스 기업 관계자는 “MLPerf에 성능 결과를 제출하기 위해서는 소프트웨어 스택 레이어까지 통합하고 최적화하는 시간을 백만분의 1초(마이크로세컨드)까지 줄여야 한다”며 “MLPerf에서 만족하는 조건을 충족한다 해도 그 성능이 너무 낮아 결과제출을 자체 포기하는 기업도 많다”고 설명했다.
또 다른 국내 AI반도체 팹리스 기업 관계자는 “MLPerf 심사를 받을 수 있는 자격이 주어진 것만으로도 AI반도체 시장 내에서는 해당 기업이 경쟁력을 가지고 있음을 의미한다”고 말했다.
AI반도체 회사가 MLPerf 노리는 이유
초기에는 엔비디아, 인텔, 구글과 같은 대기업을 중심으로 대회가 이뤄졌으나, AI반도체 스타트업 참여도 증가했다. MLPerf 벤치마크 성능을 토대로 자사 제품을 홍보하는 기업도 늘어나기 시작했다. 국내 AI반도체 스타트업도 MLPerf 벤치마킹 테스트를 진행했거나, 제출할 계획을 가지고 있다.
우선 퓨리오사는 지난 9월 MLPerf 벤치마킹 테스트에서 좋은 성적을 거뒀다고 밝힌 바 있다. 퓨리오사는 9월 자사 첫 번째 칩 ‘워보이(Warboy)’ 벤치마크 성능을 공개했다. 스타트업 중에서 자체 실리콘 칩으로 결과를 제출한 곳은 퓨리오사가 유일하다.
퓨리오사는 추론 분야에서 엔비디아 T4보다 이미지 분류, 객체 검출 처리속도 부문에서 더 높은 성적을 거둔 것으로 나타났다. 통상적으로 NPU와 같이 복잡한 반도체가 출시될 경우에는, 한 번에 이 기능을 수행할 확률이 5% 미만이다. 하지만 워보이는 파운드리 공장에서 나온 지 3주만에 이 같은 결과를 낸 것이다. 이를 두고 정덕균 서울대학교 석좌교수는 “대한민국 시스템반도체 역사에 획기적인 이정표를 세웠다”고도 평가했다.
또 다른 국내 AI반도체 스타트업 모빌린트도 지속해서 MLPerf 벤치마크 테스트에 임해 왔다. 모빌린트는 FPGA(Field Programmable Gate Array)로 구성한 프로토타입 반도체로 MLPerf 벤치마킹 성능 테스트를 진행했다. 신동주 모빌린트 대표는 “내년에는 자체 개발한 ASIC 반도체를 MLPerf 벤치마킹 테스트에 제출할 예정”이라고 말했다. 해당 칩은 2023년 양산 예정이다.
데이터센터용 프로세서와 파이낸스용 AI칩을 개발하고 있는 리벨리온은 올해 MLPerf 벤치마크 성능을 측정하지는 않았다. 하지만 내년에 MLPerf 벤치마크 제출 예정이다. 리벨리온 관계자는 “내년에 데이터센터용 프로세서 ‘아톰’으로 MLPerf 벤치마크 제출을 할 예정”이라고 말했다.
아직 MLPerf에서 좋은 성적을 내고 있는 반도체 기업은 많지 않다. 우리나라 AI반도체 시장도 아직 초기 단계에 속하지만, 이 기회를 선점하면 충분히 세계 AI 시장을 노릴 수 있을 것으로 보인다.
한 국내 AI반도체 스타트업 관계자는 “아직 MLPerf에 결과를 제출한 기업 중 GPU 강자인 엔비디아 대비 성적이 한참 못 미치는 경우가 여전히 많다”이라며 “하지만 NPU가 GPU 대비 AI반도체에 더 적합하다는 점을 생각했을 때, MLPerf 벤치마크에서 우수한 성적을 내면 시장 경쟁력을 갖출 수 있을 것”이라고 말했다.
글. 바이라인네트워크
<배유미 기자> youme@byline.network
