마이크로소프트, 2027년부터 AI 칩 ‘마이아’ 배포 확대

마이크로소프트가 2027년부터 자체 개발 인공지능(AI) 가속기 애저 마이아(Azure Maia) 제품군의 배포 규모를 멀티 기가와트 규모로 확대하고, 자사 제품과 서비스의 주요 AI 추론 시스템으로 활용할 계획이라고 13일 밝혔다.

마이크로소프트에 따르면 3세대 제품인 마이아 300은 긴 문맥 처리와 메모리 집약적 연산, 대규모 디코딩 작업에 초점을 맞춘 추론 중심 아키텍처로 설계됐다. 회사는 마이아 300이 메가와트당 처리 토큰 수에서 주요 그래픽처리장치(GPU) 기반 시스템보다 40% 많은 성능을 낼 것으로 예상했다. 가속기 96개를 모두 탑재한 구성에서는 마이아 200 대비 랙 단위 토큰 처리량이 최대 7배에 이를 것으로 전망했다.

현재 마이아 200은 마이크로소프트 코파일럿 등 실제 서비스 환경의 워크로드에 적용되고 있다. 마이크로소프트 인공지능(MAI) 팀의 차세대 모델 개발에도 활용 중이다. 깃허브 코파일럿과 마이크로소프트 파운드리에는 연말까지 적용할 예정이다. 마이아 200은 오픈AI 모델과 자체 MAI 모델, 주요 오픈소스 모델도 구동한다.

마이크로소프트는 대규모 AI 서비스 운영 경험을 바탕으로 하드웨어 시스템과 소프트웨어 애플리케이션을 함께 설계하고 있다고 설명했다. 실리콘 개발에 수년이 걸리는 만큼 하드웨어·소프트웨어 팀이 초기 단계부터 협력해 메모리 용량과 대역폭을 높이고, 여러 가속기가 하나의 시스템으로 작동하도록 아키텍처를 구성한다는 것이다.

마이아 200은 미국과 유럽, 호주에 배포되고 있다. 마이크로소프트는 팀즈와 코파일럿, 코워크의 내장 AI 기능을 처리할 때 주요 GPU 인프라보다 와트당 최대 1.7배 많은 토큰을 처리한다고 밝혔다. 마이아 200 운영 과정에서 얻은 경험은 마이아 300 설계에도 반영됐다.

마이아 200과 마이아 300은 여러 AI 서비스의 추론 작업을 지원하도록 설계됐다. 깃허브 코파일럿에서는 다단계 에이전틱 작업을 처리하고, 마이크로소프트 파운드리에서는 다양한 모델 아키텍처와 배포 환경을 지원하는 데 활용된다. MAI 팀의 추론과 데이터 생성에도 쓰이며, 드래곤 코파일럿에서는 의료진의 업무 흐름을 지원하고 행정 부담을 줄이는 용도로 적용된다.

마이아 300은 긴 문맥을 바탕으로 추론하는 작업과 지연 시간이 짧아야 하는 대화형 서비스, 여러 단계를 거쳐 실행되는 에이전트 작업을 고려해 설계됐다. 마이크로소프트는 기업의 AI 활용이 단순한 대화를 넘어 추론과 행동, 협업을 수행하는 에이전트 시스템으로 확대되고 있다고 진단했다. 이에 따라 AI 인프라에도 변화하는 모델과 워크로드에 대응하면서 대규모 연산을 제공할 수 있는 구조가 필요하다고 설명했다.

기술 설계에서는 데이터 이동을 줄이고 연산 자원 활용도를 높이는 데 초점을 맞췄다. 마이아 300은 소프트웨어 정의 데이터플로 아키텍처와 AI 지원형 커널 최적화를 적용했다. 이를 통해 데이터가 머무는 위치를 고려해 불필요한 이동을 줄이고, 컴퓨팅·메모리·네트워크 자원의 활용도를 높이도록 설계했다. 마이크로소프트는 이 구조가 기존 GPU 아키텍처보다 와트당 성능을 높일 수 있다고 밝혔다.

메모리 구성에는 고대역폭메모리 4세대(HBM4) 스택 8개를 적용했다. 마이아 300은 열설계전력(TDP) 950W 조건에서 최대 18.0TB/s의 메모리 대역폭을 제공한다. 회사는 이를 통해 대규모 모델과 긴 문맥을 처리하는 워크로드를 지원한다고 설명했다. 특화 커널은 칩 내부 정적 램(SRAM)을 소프트웨어로 관리하는 임시 저장 공간으로 활용해 HBM의 부담을 줄이도록 설계됐다.

칩 설계에는 컴퓨팅과 메모리 컨트롤러, 입출력 기능을 분리한 멀티 칩렛 아키텍처를 적용했다. 마이크로소프트는 이 구조를 통해 확장성과 효율성을 높이고 비용 구조를 개선할 수 있다고 밝혔다. 컴퓨팅 칩렛은 대만 반도체 위탁생산업체 TSMC의 2nm급 N2P 공정으로 제조한다.

마이아 300은 고급 저정밀 수치 형식인 MXFP4도 지원하도록 설계됐다. 저정밀 연산을 활용하면 연산과 키·값 캐시에 필요한 메모리 용량과 대역폭을 줄일 수 있다. 이에 따라 같은 전력으로 더 긴 문맥을 처리하고 토큰 처리량과 모델 효율성을 높이는 것이 목표다.

네트워크 설계에도 데이터플로 아키텍처를 적용했다. 컴퓨팅·메모리·네트워크 자원이 하나의 시스템처럼 작동하도록 구성했으며, 가속기 간 고대역폭 연결은 텐서 연산을 여러 가속기에 분산하는 작업에 맞췄다. 맞춤형 AI 네트워크 전송 기술은 가속기와 랙 전반의 통신을 지원하도록 설계됐다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network