구글 TPUv7, 엔비디아 ‘쿠다’ 해자 넘을까?

구글의 최신 AI 가속기 TPU를 바라보는 시선이 달라졌다. 이전에는 구글이 개발하고 구글만 사용하기 때문에 시장에서 큰 관심은 끌지 못했지만, 이제는 엔비디아 제국을 무너뜨릴 새로운 기사가 될 수도 있다는 전망이 나온다. 성능은 엔비디아 GPU 수준으로 올라간 반면, 가격은 엔비디아에 비해 훨씬 저렴하기 때문이다.

반도체 전문 분석 기관 세미애널리시스(SemiAnalysis)의 최신 보고서에 따르면, 구글 TPU의 버전 TPUv7은 엔비디아의 주력 제품인 ‘블랙웰’과 정면승부가 가능한 성능을 갖춘 것으로 평가된다.

보고서에 따르면 TPUv7은 칩당 192GB의 고대역폭메모리(HBM3e)를 탑재하고 약 4.6 페타플롭스(PetaFLOPS, FP8 기준)의 연산 성능을 제공한다. 이는 엔비디아 GB200 칩과 거의 대등한 수준이다. 특히 구글은 독자적인 네트워킹 기술인 ‘광 회로 스위치(OCS)’를 통해 차별화를 꾀했다. 구글은 OCS를 통해 단일 클러스터(Pod) 내에서 9,216개의 칩을 병목 현상 없이 연결할 수 있다. 이는 엔비디아의 일반적인 클러스터 규모를 능가하는 것으로, 초거대 AI 모델 학습 시 필수적인 확장성과 전력 효율 면에서 경쟁 우위를 점했다는 평가다.

구글이 내세우는 가장 큰 무기는 ‘가격’이다. 세미애널리시스의 분석 모델에 따르면, TPUv7 기반 서버의 TCO는 엔비디아 GB200 서버 대비 약 44% 저렴하다. TPU 고객 입장에서는 엔비디아 시스템을 구축하는 것보다 30~50%의 비용을 아낄 수 있다는 것이다.

반면 엔비디아는 현재 AI 칩 마진율이 75%가 넘을 정도로 고가 정책을 유지하고 있다. 현재는 이 시장이 “부르는 게 값”인 공급자 주도의 시장이기 때문이다.

업계에서 구글 TPU에 더욱 주목하는 이유는 구글의 전략 변화 때문이기도 하다. 구글은 그동안 TPU를 검색이나 유튜브 등 자사 서비스에만 폐쇄적으로 활용해왔다. 하지만 이제는 TPU를 외부 고객에 직접 판매하는 것도 구글의 비즈니스가 되고 있다.

예를 들어 최근 앤스로픽은 구글과 대규모 TPU 구매 계약을 체결했다. 앤스로픽은 구글 클라우드 임대와 브로드컴을 통한 직접 구매 방식을 혼합해 약 100만 개의 TPUv7을 도입할 예정인 것으로 알려졌다. 메타와 같은 기업도 TPU를 도입할 예정이라는 소식이 전해진다.

세미애널리시스는 “오픈AI조차 엔비디아와의 가격 협상에서 TPU 도입을 카드로 내밀어 할인을 받아냈을 정도로 구글 칩의 위상이 달라졌다”고 전했다.

하지만 구글 TPU가 엔비디아 아성에 도전하려면 ‘쿠다(CUDA)’라는 해자를 넘어야 한다. 전 세계 AI 개발자들은 엔비디아 GPU에 최적화된 쿠다 생태계에 묶여 있기 때문이다.

구글은 자사가 개발한 프레임워크인 ‘JAX’와 컴파일러 ‘XLA’를 통해 이 장벽을 허물려고 노력하고 있다. LLM 개발 환경이 파이토치 같은 상위 레벨 언어로 표준화되면서, 하드웨어 종속성도 과거보다 옅어지는 중이다. 파이토치와 JAX 코드는 컴파일러를 통해 엔비디아 GPU뿐만 아니라 구글 TPU에서도 작동한다.

그래도 TPU를 선택하면 엔비디아의 CUDA 생태계에 비해 더 많은 엔지니어링 비용을 써야 한다. 저렴한 칩과 비싼 엔지니어링 비용을 계산했을 때 어떤 것이 더 효율적인지 더 지켜볼 필요가 있다.

이에 대해 세미애널리시스는 “내부 시스템 팀을 갖춘 선도적인 연구소(lab) 입장에서는, 기가와트(GW) 규모에서 얻을 수 있는 비용 절감액에 비하면 추가 엔지니어링 작업은 미미한 수준”이라고 평했다. 수조 원 단위의 인프라를 운용하는 대형 플레이어가 볼 때 칩 비용 절감이 엔지니어링 비용 상승보다 훨씬 크다는 것이다.

세미애널리시스는 “TPUv7은 엔비디아가 더 이상 유일한 선택지가 아님을 증명했다”면서 “이제 시장은 성능 경쟁에서 ‘비용 대비 성능(TCO)’ 경쟁으로 넘어가고 있으며, 이 새로운 게임의 규칙에서 구글은 가장 강력한 패를 쥐고 있다”고 말했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network