AWS, AI 학습용 칩 ‘트레이니움2′ 인스턴스 출시
아마존웹서비스(AWS)는 3일 열린 ‘AWS 리인벤트’에서 인공지능(AI) 학습 전용 칩 ‘AWS 트레이니움2’ 기반의 아마존 EC2 인스턴스를 공식 출시했다. AWS는 이와 함께 거대언어모델(LLM) 및 파운데이션 모델(FM)의 학습과 추론을 지원하는 트레이니움2 울트라서버(Trn2)와 차세대 트레이니움3 칩도 미리 공개했다.
아마존 EC2 Trn2 인스턴스는 16개의 트레이니움2 칩을 탑재해 최대 20.8 페타플롭스(PF)의 연산 성능을 제공한다. 수십억 개의 매개변수를 가진 LLM의 학습 및 배포에 적합한 인프라다. Trn2 인스턴스는 동일한 비용으로 기존 GPU 기반 EC2 P5e 및 P5en 인스턴스 대비 30~40% 더 나은 가격 대비 성능을 제공하며, 메모리 대역폭도 크게 개선됐다.
아마존 EC2 Trn2 울트라서버는 초고속 뉴런링크 기술로 64개의 트레이니움2 칩을 연결해 최대 83.2 피크 페타플롭스의 연산 성능을 제공한다. 이는 단일 Trn2 인스턴스 대비 연산, 메모리, 네트워킹 성능을 각각 4배로 확장해 대규모 모델 학습과 배포를 지원한다.
AWS는 앤트로픽과 협력해 수십만 개의 트레이니움2 칩을 포함하는 EC2 울트라클러스터를 구축하고 있다. 이 프로젝트는 ‘프로젝트 레이니어(Rainier)’로 명명됐으며, 현재 세대의 최첨단 AI 모델 훈련에 사용된 엑사플롭스의 5배 이상의 성능을 갖출 것으로 기대된다. 앤트로픽은 이전 클러스터의 5배가 넘는 수십만 개의 트레이니움2 칩을 사용해 아마존 베드록에서 클로드를 사용하는 고객에게 최상의 성능을 제공할 계획이다.
데이터브릭스의 모자이크 AI는 트레이니움2를 활용해 고객에게 더 나은 결과를 제공하고 총 소유 비용(TCO)을 최대 30% 낮출 계획이다.
허깅페이스는 지난 몇 년간 AWS와의 협력해 옵티멈 뉴런 오픈소스 라이브러리를 통해 개발자의 AWS 인퍼런시아와 트레이니움의 성능 및 비용 효율을 쉽게 경험할 수 있도록 했다. 현재는 AWS 마켓플레이스에서 제공되는 HUGS 자체 배포 서비스에도 최적화됐다.
AWS는 차세대 AI 학습 칩인 트레이니움3도 공개했다. 트레이니움3는 트레이니움2 대비 최대 2배 성능과 40% 개선된 에너지 효율성을 제공하며, 이를 통해 고객은 더 큰 모델을 더 빠르게 구축하고 실시간 성능을 극대화할 수 있다. 트레이니움3는 3나노미터 공정 노드로 제작된 칩이다. 트레이니움3 기반 울트라서버는 Trn2 울트라서버 대비 4배 더 높은 성능을 제공할 것으로 예상되며, 이를 통해 고객은 모델 구축 시 더욱 빠르게 반복하고 배포 시 우수한 실시간 성능을 제공할 수 있다. 트레이니움3 기반 EC2 인스턴스는 내년말 출시될 예정이다.
AWS는 트레이니움 칩에서 모델을 실행할 수 있도록 최적화하는 컴파일러, 런타임 라이브러리, 도구 등을 뉴런 SDK로 제공한다. 개발자는 모델을 최적화해 트레이니움 칩에서 최적의 성능을 발휘할 수 있다. 뉴런은 기본적으로 쟉스(JAX)와 파이토 같은 인기 프레임워크와 통합됐다. 허깅페이스 모델 허브의 10만 개 이상의 모델을 지원한다. 뉴런 커널 인터페이스(NKI)를 통해 개발자는 베어메탈 트레이니움 칩에 접근할 수 있어, 까다로운 워크로드의 성능을 극대화할 수 있는 컴퓨팅 커널을 작성할 수 있다.
구글은 네이티브 OpenXLA 통합을 통해 고객이 대규모 학습 및 추론에 쟉스를 사용할 수 있도록 지원해 사용자가 Trn2 인스턴스를 빠르게 시작할 수 있는 쉽고 이식 가능한 코딩 경로를 제공한다.
데이비드 브라운 AWS 컴퓨팅 및 네트워킹 부문 부사장은 “트레이니움2는 학습과 추론 모두에서 최고의 가격 대비 성능을 제공한다”며 “Trn2 울트라서버는 AWS에서 가장 빠른 학습 및 추론 성능을 제공하며, 모든 규모의 조직이 세계 최대 모델을 더 빠르고 비용 효율적으로 학습하고 배포할 수 있도록 돕는다”고 강조했다.
Trn2 인스턴스는 현재 미국 동부(오하이오) AWS 리전에서 사용 가능하며, 추가 리전에서도 곧 제공될 예정이다. Trn2 울트라서버는 현재 프리뷰 상태로 제공되고 있다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
