오라클-AMD, 인스팅트 MI355X 탑재 AI 인프라 제공
오라클과 AMD는 오라클 클라우드 인프라스트럭처(OCI)의 AMD 인스팅트 MI355X GPU 지원 계획을 23일 발표했다.
MI355X GPU는 대규모 AI 훈련 및 추론 워크로드에서 전 세대 대비 2배 이상 향상된 가성비와 더 많은 선택지를 제공한다. 오라클은 최신 AMD 인스팅트 프로세서로 가속화되는 제타스케일 AI 클러스터를 제공하며, 최대 13만1072개의 MI355X GPU를 통해 대규모 AI 구축, 훈련, 추론을 지원할 예정이다.
최신 AI 애플리케이션은 더 크고 더 복잡한 데이터세트를 요하며, 오늘날의 고객은 대규모 AI 훈련용으로 설계된 맞춤형 AI 컴퓨팅 솔루션을 필요로 한다. AMD 인스팅트 MI355X GPU를 탑재한 제타스케일 OCI 슈퍼클러스터는 최대 13만1072개의 MI355X GPU를 위한 고 처리량, 초저지연 RDMA 클러스터 네트워크 아키텍처를 제공함으로써 이러한 요구를 충족시킨다. AMD 인스팅트 MI355X는 이전 세대의 3배에 달하는 컴퓨팅 성능과 50% 향상된 고대역폭 메모리를 제공한다.
OCI 기반 AMD 인스팅트 MI355X는 최대 2.8배 증가한 처리량으로 AI 배포 성능을 향상시킨다. 고객은 대규모 AI 혁신을 위한 더 빠른 결과, 더 짧은 지연 시간, 더 큰 AI 워크로드 실행 능력을 누릴 수 있다. 대용량 모델 전체를 메모리에서 실행할 수 있어 높은 메모리 대역폭이 필요한 모델의 추론 및 훈련 속도가 향상된다. 새로운 구성은 288기가바이트의 고대역폭 메모리 3(HBM3)과 최대 8테라바이트의 메모리 대역폭을 제공한다.
새로운 4비트 부동 소수점 컴퓨트(FP4) 표준으로 최신 LLM 및 생성형 AI 모델을 비용 효율적으로 배포할 수 있다. 이를 통해 매우 효율적인 고속 추론이 가능하다. 랙당 125킬로와트로 성능 밀도를 극대화해 까다로운 AI 워크로드 처리를 지원한다. 랙당 64개의 GPU(각 1400와트)가 제공되므로 더 빨라진 훈련 시간, 높은 처리량, 더 낮은 지연 시간을 기대할 수 있다.
신규 에이전틱 애플리케이션을 배포하는 고객에게 더 빠른 TTFT(time-to-first token) 및 높은 초당 토큰 처리량을 지원한다. 고객은 훈련 및 추론 워크로드 모두를 위한 향상된 가성비를 기대할 수 있다. 최대 3테라바이트의 시스템 메모리를 탑재 가능한 AMD 튜린 고주파 CPU를 통해 효율적인 작업 오케스트레이션 및 데이터 처리를 지원함으로써 고객의 GPU 성능 최적화를 지원한다.
AMD ROCm을 통해 유연한 아키텍처를 활용하고, 특정 공급업체에 종속되는 일 없이 기존 코드를 손쉽게 마이그레이션할 수 있도록 지원한다. AMD ROCm은 널리 사용되는 프로그래밍 모델, 도구, 컴파일러, 라이브러리, 런타임 등을 포함하는 오픈 소프트웨어 스택으로, AMD GPU를 사용한 AI 및 HPC 솔루션 개발을 지원한다.
혁신적인 네트워크 패브릭 설계를 지원하는 고급 RoCE 기능을 제공한다. 오라클은 백엔드 네트워크에 AMD 폴라라 AI NIC를 최초로 배포하고, 이를 통해 프로그래밍 가능한 혼잡 제어 및 울트라 이더넷 컨소시엄(UEC)의 개방형 산업 표준 지원을 포함한 고급 RoCE 기능을 제공하여 고성능 저지연 네트워크를 실현한다.
포레스트 노로드 AMD 데이터센터 솔루션 비즈니스 그룹 총괄 부사장 겸 총괄 매니저는 “AMD와 오라클은 고성능, 효율성, 시스템 설계 유연성 향상을 위한 개방형 솔루션을 제공해 왔다”며 “OCI의 최신 세대 AMD 인스팅트 GPU 및 폴라라(Pollara) NIC는 새로운 추론과 미세 조정, 훈련 사용 사례를 지원하며 AI 채택이 확대됨에 따라 고객에게 더 많은 선택권을 제공할 것”이라고 강조했다.
마헤쉬 티아가라얀 OCI 총괄 부사장은 “양사는 클라우드에서 가장 까다로운 AI 워크로드를 실행하는 고객들을 지원할 수 있는 가장 광범위한 AI 인프라 제품을 제공하기 위해 노력하고 있다”며 “OCI가 제공하는 성능과 앞선 네트워킹, 유연성, 보안, 규모와 결합된 AMD 인스팅트 GPU는 AI 워크로드 및 새로운 에이전틱 애플리케이션에 대한 추론 및 훈련 요구사항을 충족하는 데 기여할 것”이라고 밝혔다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
