엔비디아, 2년 만에 딥러닝 최적화 엔진 ‘텐서 RT 8.0’ 공개

엔비디아가 새로운 딥러닝 최적화 엔진 텐서 RT 8.0을 공개했다. 약 2년 만에 공개한 새로운 시리즈인데, 지난 텐서 RT 7.0에 비해 성능, 데이터 처리 속도 등이 개선됐다. 이를 통해 엔비디아는 고객들에게 더 나은 AI 솔루션을 제공할 수 있을 예정이다.

엔비디아는 본래 GPU(Graphic Processing Unit)를 설계하는 반도체 기업이다. 따라서 많은 사람들이 반도체 기업이라고 여기고 있다. 하지만 이제는 엔비디아를 마냥 반도체 하드웨어 기업이라고만 보기에는 어려울 것으로 보인다.

GPU는 인공지능 시장이 확대되면서 큰 수요 증가를 겪었다. GPU는 데이터를 병렬 처리하기 때문에 한 번에 많은 양의 데이터를 처리할 수 있는데, 이는 특히 딥러닝에 유용하다. 엔비디아는 인공지능 시장에 팔을 뻗기 시작했는데, 특히 수요가 많은 분야에서는 GPU부터 소프트웨어까지 제공하는 AI 툴킷을 제공한다. 사용자들은 이 AI 툴킷을 가지고 서비스를 더욱 효율적으로 개발할 수 있다.

엔비디아는 8개의 코어를 기반으로 인공지능 서비스를 구현하는데, 엔비디아가 이번에 공개한 제품은 새로운 엔비디아의 텐서RT 시리즈 ‘텐서 RT(Tensor RT) 8.0이다.

여기에서 텐서RT란 엔비디아의 텐서 코어와 RT 코어를 합친 엔진을 말한다. 텐서 코어는 딥러닝 시 필요한 단순 알고리즘을 반복하는 데 최적화돼 있고, RT코어는 인공지능을 가속화하는 역할을 한다. 쉽게 말해, 텐서RT는 반복 학습을 통해 딥러닝한 모델을 최적화하고, GPU 상에서 추론 속도를 향상시키는 역할을 하는 모델 최적화 엔진을 말한다.

싯다르타 샤르마(Siddharth Sharma) 엔비디아 AI 소프트웨어 제품 마케팅팀장은 “이번에 엔비디아가 공개한 텐서 RT 8.0은 고성능 심층 학습 추론을 위한 SDK(Software Development Kit, 소프트웨어 개발 키트)에 최적화돼 있다”고 강조했다.

싯다르타 샤르마 팀장에 따르면, 우선 텐서 RT 8.0은 컴퓨터 언어로 쓰인 프로그램을 관리하는 컴파일러와 런타임(Compiler&Runtime)을 통해 저지연이 중요한 애플리케이션에서의 처리량을 극대화할 수 있다. 또한 CNN, RNN, 트랜스포머를 포함한 모든 네트워크에 최적화돼 있으며, 텐서플로나 파이토치(PyTorch) 등의 프레임워크도 가속화할 수 있다. 이는 데이터센터와 엣지 및 내장형 플랫폼에 적용될 수 있다.

지난 2019년 12월에 공개했던 직전 시리즈 텐서 RT 7.0에 비해서는 성능, 정확도, 처리속도 등이 향상됐다. 싯다르타 샤르마 팀장은 “텐서 RT 8.0은 텐서 RT 7.0에 비해 성능이 2배 향상됐으며, 정확도도 2배 이상 높아졌다”며 “엔비디아의 데이터센터용 GPU V100에서 텐서 RT 8.0을 구동하면 1.2밀리초만에 데이터를 처리할 수 있으며, 이는 텐서 RT 7.0에 비해 2.5배 빨라진 속도”라고 설명했다.

이 같은 특성을 갖춰 텐서 RT 8.0은 실시간 대화 AI 애플리케이션, ▲챗봇 ▲추천 광고 ▲언어 서비스 ▲검색 서비스 등에 적용될 전망이다. 싯다르타 샤르마 팀장은 “지속해서 다운로드와 개발자들의 사용 빈도가 늘어나고 있으며, 네이버, SKT, 위챗, LG 등의 기업에서 클라우드 투 엣지를 구현하기 위해 엔비디아 텐서RT를 사용하고 있다”며 “특히 GE 헬스케어 부문에서는 정확한 진단을 내리거나, 더 나은 생산성을 만들어내기 위해 연간 1억 4천 5백만 개의 심장을 확인하는데, 텐서 RT 8.0은 더욱 개선된 서비스를 제공할 수 있을 것”이라고 전했다.

뒤이어 엔비디아는 자사 인공지능 솔루션을 기반으로 하는 추천 시스템(Recommender System)에 대해서도 언급했다. 엔비디아는 지난 엔비디아 GTC 2020에서 AI 기반의 추천 시스템 멀린(Merlin)을 공개한 바 있다. 이와 관련해 카리 브리스키(Kari Briski) 엔비디아 AI 소프트웨어 제품 매니저는 “엔비디아 멀린은 인터넷 부문에서도 개인화를 위한 역할을 하고 있다”며 “온라인에서 비디오를 보기 위한 디지털 콘텐츠, 이커머스, 소셜 미디어, 디지털 광고 등에 적용할 수 있다”고 전했다.

뒤이어 카리 브리스키 매니저는 “엔비디아 멀린은 엔비디아의 코어에서 모델 엔지니어링, 트레이닝, 추론의 과정을 거치고, 여기에 더 나은 테크닉과 혁신적인 알고리즘, 새로운 워크플로우를 더했다”며 “이는 더욱 개인화된 추천 서비스를 제공할 수 있다”고 설명했다.

한편, 엔비디아는 7월 29일 딥러닝 레코멘더 서밋(Deep Learning Recommenders Summit)에 참여한다. 엔비디아는 본 행사에서 엔비디아 멀린과 텐서플로 등 혁신 기술에 대해 더욱 자세히 소개할 예정이다.

글. 바이라인네트워크
<배유미 기자> youme@byline.network