오픈AI, 자체 개발 추론칩 할라피뇨 성능 공개…“엔비디아 블랙웰보다 우위“

오픈AI가 자체 설계한 추론 전용 반도체 ‘할라피뇨(Jalapeño)’의 첫 벤치마크 결과를 공개했다. 엔비디아 블랙웰 시스템 대비 와트당 처리량과 응답 속도 모두에서 우위를 보였다는 게 회사 측의 설명이다.

오픈AI는 25일(현지시각) 열린 반도체 컨퍼런스 핫칩스에서 할라피뇨의 상세 아키텍처와 함께 실측 성능 데이터를 처음으로 공개했다. 브로드컴과 공동 개발한 이 칩은 지난해 10월 처음 알려졌고, 올해 6월 정식 공개됐다. 오픈AI 자체 모델이 칩 설계 과정에 투입된 것으로 전해졌다.

벤치마크는 반도체 분석기관 세미애널리시스의 공개 추론 벤치마크인 ‘인퍼런스X’로 진행됐다. GPT-OSS 120B, 딥시크 R1(670B), 문샷AI의 키미 K2.5(1조 파라미터) 등 오픈소스 모델 세 종을 대상으로 테스트한 결과, 할라피뇨는 엔비디아 GB200·GB300 랙 시스템 대비 와트당 처리량 1.5~1.9배, 종단간 지연시간은 1.7~3.6배 낮은 것으로 나타났다. 실시간 상호작용이 중요한 워크로드에서는 격차가 2.1~4.1배까지 벌어졌고, 기존 최고 응답속도 지점과 비교하면 최대 104배 차이가 나는 구간도 있었다고 회사 측은 설명했다.

세미애널리시스는 자사 뉴스레터를 통해 더 구체적인 아키텍처 분석을 내놨다. 할라피뇨는 6개의 HBM4 스택을 탑재해 패키지당 15.4TB/s의 메모리 대역폭을 제공하며, 이는 현재 출하 중인 HBM3E 기반 가속기들을 앞서는 수치다. 특히 눈에 띄는 대목은 경쟁 칩들이 모두 다중토큰예측(MTP)과 추측 디코딩, 프리필-디코드 분리(PDD) 등 성능 최적화 기법을 적용한 상태에서 비교됐는데도, 할라피뇨는 이런 기법 없이 단일토큰예측(STP)만으로 앞선 결과를 냈다는 점이다. 세미애널리시스는 추측 디코딩이 적용되면 토큰당 비용이 3배 이상 추가로 개선될 수 있어, 향후 격차가 더 벌어질 가능성이 있다고 분석했다.

다만 세미애널리시스는 몇 가지 유보 조건도 함께 제시했다. 모든 수치는 오픈AI가 제공했고, 자사는 랩에서 실측을 검증했을 뿐 전체 벤치마크 스위트를 독자적으로 돌리지는 않았다는 것이다. 또한 할라피뇨의 진짜 경쟁 상대는 이미 출하가 시작된 블랙웰이 아니라 같은 HBM4를 쓰는 차세대 칩 루빈이며, 총소유비용(TCO) 기준으로는 두 칩이 비슷한 수준이라고 덧붙였다. 테스트에 쓰인 모델들이 최신·최대 규모 모델은 아니라는 점도 짚었다.

오픈AI는 올해 안에 소규모로 할라피뇨 배치를 시작하고, 2027년부터 본격적으로 물량을 늘려나갈 계획이다. 세미애널리시스에 따르면 이미 성능을 25%가량 개선한 후속 스테핑(B0)이 공정 중이며, 3세대 칩 개념 설계도 진행되고 있다.

이번 결과는 오픈AI가 엔비디아 의존도를 낮추고 자체 반도체 생태계를 구축하려는 흐름의 연장선에 있다. 구글 TPU, 아마존 트레이니엄에 이어 메타·마이크로소프트도 자체 AI 칩 개발을 추진 중이다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network