구글, 8세대 TPU 2종 추가 공개 ‘메모리 병목 해소’
구글이 8세대 TPU의 세번째와 네번째 시스템을 선보였다. AMD 에픽 CPU와 결합되는 TPU 8tx, HBM 대역폭을 2배 늘린 TPU 8i Max 등이다. 초점은 기밀성과 컨텍스트로, AI 에이전트 워크로드에서 나타나는 메모리 병목 현상 해소에 주안점을 뒀다.
구글은 9일 TPU 8세대의 새로운 시스템을 발표했다. 구글이 동일 세대의 TPU에서 4종의시스템을 한해에 제공하는 건 처음이다.
구글 TPU 8은 지난 4월 공개됐다. 당시 대규모 학습용인 TPU 8t와 실시간 추론용 TPU 8i가 공개됐다. 두 칩은 이전 세대 대비 각각 최대 2.7배 향상된 학습성능과 80% 향상된 추론 가격 대비 성능을 제공했다.
TPU 8tx는 안전하고 기밀성이 보장되는 추론에 최적화됐다. 구글은 소규모 학습에도 적합하다고 설명했다. 이 시스템은 규제를 받는 기업 및 정부 기관이 최첨단 또는 독자적인 모델과 자율 에이전트를 가장 민감한 데이터와 함께 운영할 수 있도록 설계됐다.
일반적으로 데이터는 네트워크를 통해 저장되거나 전송될 때 암호화되지만, 컴퓨터가 처리하는 동안 메모리에서 복호화된다. TPU 8t와 동일한 실리콘을 기반으로 하고 맞춤형 AMD CPU 호스트와 결합된 TPU 8tx는 하드웨어 계층에 직접 보안을 내장해 민감한 데이터와 모델 가중치를 활성 사용 중에도 보호하고 격리한다. 실시간 추론을 위해 개발한 저지연 보더플라이(Boardfly) 네트워크를 채택해 다단계 에이전트의 원활한 실행을 지원하며, 성능 저하 없이 TPU 8t 대비 최대 2배 낮은 지연 시간을 제공한다.
빠른 추론 네트워크를 통해 조직은 단일 시스템에서 모델을 동시에 실행하고 맞춤 설정할 수 있다. TPU 8tx를 사용하면 팀은 자체 데이터를 활용해 모델을 미세 조정하고, 대규모 모델을 소규모 모델로 분할하고, 강화 학습을 통해 에이전트를 훈련할 수 있으며, 이 모든 작업을 민감한 데이터를 서로 다른 클러스터 간에 마이그레이션할 필요 없이 수행할 수 있다.
TPU 8tx 시스템은 5세대 AMD 에픽 프로세서를 탑재한다. AMD 에픽 CPU의 성능, AMD 인피니티 가드 보안 기능, x86 소프트웨어 호환성을 구글 클라우드 TPU의 AI 가속 기능과 결합해 기업의 추론, 미세 조정 및 강화 학습 워크로드 도입을 지원한다.
마크 로마이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄 매니저는 “TPU 8tx는 TPU 8i에 사용했던 보더플라이를 시스템 수준에서 도입해 시스템의 양 끝단, 즉 가장 먼 두 지점 간의 통신 경로 길이를 단축시켰다”며 “TPU 8t보다 추론 지연 시간을 최대 2배까지 줄일 수 있으며, 기밀 추론을 위한 하드웨어 수준의 보호 기능도 제공할 수 있다”고 밝혔다.
TPU 8i Max는 메모리 대역폭을 늘렸다. 수십개 AI 에이전트가 전체 소프트웨어 코드베이스 또는 수 시간 분량의 비디오에서 동시에 협업할 때 메모리 대역폭은 병목으로 작용한다. 구글은 저지연 TPU 8i 칩 2개를 하나의 패키지로 결합했다.
TPU 8i Max는 컴퓨팅 성능과 메모리 용량을 동시에 확장해 TPU 8i 대비 2배의 컴퓨팅 성능, 2배의 SRAM, 2배의 HBM 대역폭을 제공한다. 프로세서가 필수 데이터를 항상 확보하고 대규모 워크로드에서도 지연 없이 작동할 수 있다. 또한 기존 랙 공간에 2배의 실리콘을 탑재할 수 있게 된다.
그는 “여러 에이전트가 광범위한 컨텍스트에 접근해야 하는 상황은 시스템의 메모리 용량과 대역폭에 상당한 부담을 준다”며 “TPU 8i Max 시스템은 TPU 8i보다 33% 더 많은 용량인 384기가바이트의 고대역폭 메모리를 제공하며, 더 큰 컨텍스트 윈도우와 KV 캐시를 지원하는 데 매우 유용하다”고 설명했다.
그는 “더욱 중요한 건 초당 17.2테라비트의 고대역폭 메모리 접근 속도를 구현했다는 점으로, 데이터를 더 빠르게 입출력할 수 있게 해 대규모 컨텍스트 워크로드 성능을 높인다”며 “또한, 온칩 SRAM 용량을 768MB로 2배 늘려서 자주 접근하는 데이터를 컴퓨팅 리소스에 더 가깝게 배치할 수 있게 했다”고 강조했다.
다양한 워크로드에 유연하게 대응할 수 있는 구글의 8세대 TPU는 4가지 시스템으로 구성돼 에이전트 라이프사이클의 모든 단계에 최적화된 가속기를 고객에게 제공한다. TPU 8t는 확장형 학습, TPU 8i는 저지연 추론, TPU 8tx는 기밀 컴퓨팅, 그리고 TPU 8i Max는 대규모 컨텍스트 윈도우 및 랙당 최고 수준의 컴퓨팅 밀도를 제공한다.
로마이어 부사장은 “AI 에이전트는 요청이나 의도를 받아들여 여러 단계로 나누고, 다른 모델을 호출하고, 내부 도구에 접근하고, 코드를 작성하고, 컴파일하고, 실행하고, 정보를 검색하는 등의 작업을 수행하며, 원래 요청의 의도를 달성하기 위해 계속해서 노력한다”며 “인프라 관점에서 보면, 단순한 단일 모델 상호 작용이었던 것이 수십, 수백, 수천 개의 작업이 백그라운드에서 실행되는 복잡한 작업으로 바뀔 수 있다”고 설명했다.
그는 에이전트 기반 워크로드로 AI 컴퓨팅 인프라를 전환해야 하는 상황이라고 밝혔다. 그는 근본적 변화가 3가지로 목격되고 있다고 했다.
첫째는 컴퓨팅 규모가 인간에서 에이전트로 넘어갔다는 점이다. 인간 사용자는 한번에 하나의 작업을 실행하지만, 에이전트 기반 워크플로우를 사용하면 한 명의 사용자가 여러 개의 병렬 작업을 실행할 수 있다. 이러한 에이전트 기반 워크플로우를 병렬로 처리하는 인프라에 대한 수요는 10배, 100배, 1000배로 증가하게 된다. 둘째는 기록 시스템에서 실행 시스템으로의 전환이다. 단순히 정보를 검색하고 요약하는 데 그치지 않고, 비즈니스 시스템, 데이터 시스템과 상호 작용하고 사용자를 대신해 실제 작업을 수행하는 워크로드다. 이는 새로운 보안 및 규정 준수 요구 사항을 포함한 여러 가지 변경과 추가를 요구한다. 셋째의 변화는 매우 복잡한 에이전트 기반 워크플로우로 전환이다. 방대한 양의 컨텍스트 데이터, 즉 파일, 문서, 이메일 등에 접근해야 하고, 여러 단계를 거치는 프로세스 전반에 걸쳐 장기간에 걸쳐 해당 정보와 컨텍스트를 유지 관리해야 한다.
로마이어 부사장은 “단순히 가속기, TPU 또는 GPU를 얼마나 많이 보유하느냐의 문제가 아니라, 데이터를 얼마나 빠르게 전송할 수 있는지, 메모리를 얼마나 효율적으로 사용할 수 있는지, 지연 시간을 최소화하고 비용을 절감하면서 이 모든 것을 높은 보안 및 규정 준수 하에 수행할 수 있는지가 중요해졌다”며 “구글은 워크로드를 기준으로 역으로 접근하며, 칩만 보고 인프라를 최적화하지 않는다”고 말했다.
그는 “실리콘도 중요하지만, 시스템 수준의 인프라도 중요하다”며 “메모리, 네트워킹, 오케스트레이션 소프트웨어 등 모두 중요하며, 이러한 구성 요소 중 하나라도 병목 현상이 발생하면 전체 시스템 성능이 저하될 수 있다”고 덧붙였다.
구글은 하드웨어와 함께 소프트웨어 개발도 병행한다고 강조했다. 구글은 파이토치로 만든 코드를 TPU에서 네이티브로 실행하고 vLLM, SGLang 등의 추론 엔진도 구동할 수 있는 TPU 백엔드 ‘토치TPU’를 지난달 오픈소스로 공개했다. TPU 에이전트 스위트도 공개해 클로드코드, 커서, 구글 안티그래비티 등의 코딩 도구와 직접 연결해서 TPU 온보딩을 자동화하고, 병목현상을 진단하며, 일반 언어로 사용자 지정 커널을 자동 튜닝할 수 있게 했다.
새롭게 XLA 서빙 엔진도 공개했다. XLA 서빙 엔진을 사용하면 파이썬으로 모델을 학습시키고 TPU, GPU 및 CPU에서 지연 시간이 짧은 C++ 런타임을 통해 직접 제공할 수 있다.
실제 운영 환경에서 추론을 위해 TPU 하드웨어의 활용도를 어떻게 높이는 방안으로 에이전트 컴퓨트 엔진을 선보였다. 에이전트가 사람의 개입을 기다리거나 도구 응답을 기다리는 유휴 상태에 들어갈 수 있다. 사실 에이전트는 상당한 시간 유휴 상태다. 이처럼 에이전트가 리소스를 사용하지 않을 때에도 계속 자원을 묶어두면 에이전트 워크로드 확장 시작 기간에 엄청난 비효율성을 일으킬 수 있다.에이전트 컴퓨트 엔진은 에이전트가 일시 중지될 때 작업 메모리를 TPU 칩에서 다른 곳으로 이동시키고, 에이전트가 처리를 재개해야 할 때 다시 복원한다. 가속된 리소스를 해제해 다른 작업에 사용하므로 시스템 활용률이 크게 향상된다.
로마이어 부사장은 “트랜잭션당 비용, 에이전트 워크로드 또는 활동당 비용을 절감할 수 있다”며 “TPU의 핵심 가치 중 하나인 최저 비용으로 뛰어난 성능을 제공하는 데 매우 중요한 역할을 한다”고 말했다.
그는 “소프트웨어 기반이기 때문에 최신 TPU 8 제품군뿐만 아니라 이전 세대인 TPU 7, TPU 6, 심지어 TPU5에서도 사용할 수 있다”고 덧붙였다.
구글은 TPU 클러스터용 모델 상태 레이어인 TPU Sync도 공개했다. 에이전트가 수백만개의 토큰으로 이뤄진 컨텍스트에서 추론하고 지속적인 강화 학습(RL) 루프를 실행하면 메모리 병목 현상이 나타난다. TPU Sync는 칩의 HBM, 호스트의 DRAM, 공유 스토리지 및 데이터 센터 네트워크를 단일의 공동 설계된 메모리 계층 구조로 변환한다. 대규모 KV 캐시를 칩에서 자동으로 계층화하여 밀리초 단위로 처리하고, 분산된 프리필 및 디코딩 노드 간에 컨텍스트를 스트리밍하며, RL 가중치를 동기화해 KV 전송 지연 시간과 첫 번째 토큰 획득 시간(TTFT)을 90% 이상 단축한다.
구글은 다양한 TPU와 GPU 같은 AI 하드웨어를 단일 컨트롤 플레인으로 관리한다. 학습과 추론용으로 나뉜 TPU와 엔비디아나 AMD의 GPU까지 포함한다. 구글 쿠버네티스 엔진(GKE)에서 단일 컨트롤러 아키텍처를 기반으로 하며, 클라우드 패스웨이(Pathways)를 사용해 사전 학습, 강화 학습 및 멀티호스트 추론을 위해 여러 슬라이스에 걸쳐 대규모 AI 시스템을 마치 하나의 로컬 머신처럼 오케스트레이션한다. 클라우드 패스웨이는 동일 위치에 배치된 파이썬 사이드카, 1분 미만의 슬라이스 핫 스와핑 및 탄력적인 리샤딩을 통해 하드웨어 장애 발생 시에도 장시간 실행되는 작업이 원활하게 진행되도록 지원한다.
구글은 GKE 동적 슬라이싱을 사용해 필요에 따라 맞춤형 TPU 토폴로지를 결합한다. 광회로 스위칭(OCS) 기술을 사용해 물리적 하드웨어 프로비저닝과 논리적 슬라이스 생성을 분리했다. TPU 큐브를 더 큰 토폴로지로 동적으로 구성(슈퍼 슬라이싱)하거나 더 작고 격리된 워크로드로 분할(서브 슬라이싱)함으로써, 고정된 수동 노드 풀 재구성 주기를 완전히 제거한다. 이러한 토폴로지 유연성은 작업 시작 시간을 최대 5배 단축하고 장애 복구 속도를 최대 4.5배 향상시켜 모든 TPU에서 전체 플릿 활용률과 워크로드 처리량을 극대화한다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
