오픈AI의 자체 AI 추론 칩 ‘할라페뇨’의 의미

지난 24일 오픈AI가 자체 설계한 AI 추론 전용 칩 ‘할라페뇨(Jalapeño)’를 공개했다. 브로드컴과 합작으로 개발된 이 칩은 현존하는 AI 가속기보다 더 뛰어난 와트 당 성능을 낸다고 한다. AI를 활용해 칩 설계부터 생산까지 단 9개월밖에 걸리지 않아 주목되지만, 실제 양산까지 현실화될 지 의문이다.

오픈AI는 대형언어모델(LLM)의 기본 원리에 대한 깊이있는 이해를 바탕으로 모델, 커널, 서비스 시스템, 제품 요구 사항 등에 대한 로드맵을 토대로 칩을 처음부터 설계했다고 밝혔다. 칩 구현, 보드 및 랙 시스템 통합, 고성능 네트워킹, 확장 가능한 생산 시스템 구축 등에 이르는 상용 칩 플랫폼을 구현했다는 게 강조점이다.

오픈AI에 따르면, 할라페뇨는 모든 LLM과 호환되도록 설계됐다. 그러나, 할라페뇨의 구체적인 성능 수치는 공개되지 않았다. 아직 최종 성능을 측정중이며, 초기 테스트 결과 최첨단 가속기보다 와트당 성능이 훨씬 뛰어날 것으로 예상된다고만 밝혔다. 연구실에서 GPT-5.3-Codex-Spark를 포함한 머신러닝 워크로드의 목표 주파수와 전력으로 샘플 테스트 중이라고 한다.

데이터 이동을 최소화하고 컴퓨팅, 메모리, 네트워킹 등의 리소스 균형을 맞춰 이론적 최대 성능에 가까운 실제 활용률을 달성한다고 설명했다. 브로드컴의 토마호크 네트워킹 기술과 실리콘 기술의 지원을 받았다고 덧붙였다.

가장 눈에 띄는 부분은 칩 설계부터 생산 플랫폼 구축까지 9개월밖에 걸리지 않았다는 점이다. 오픈AI는 초기 설계부터 제조 테이프아웃까지 9개월 만에 개발됐으며, 고성능 첨단 반도체 분야에서 가장 빠른 ASIC 개발주기라고 강조했다. 비결은 오픈AI 모델을 칩 설계에 활용한 덕이다. 여러 AI 모델을 사용해 엔지니어의 칩 설계를 지원했다고 한다.

오픈AI는 “이런 속도는 오픈AI 엔지니어링 팀과 심층적인 소프트웨어 및 하드웨어 공동 개발, 브로드컴의 실리콘 구현 전문성, 설계 및 최적화 프로세스의 일부를 가속한 오픈AI 모델 활용의 결과”라고 강조했다.

할라페뇨를 통해 오픈AI는 칩 설계부터 조달, 인프라 구축, 프론티어 AI 모델 개발, AI 에이전트 및 애플리케이션 구현, 개인 및 기업용 AI 서비스 제공 등에 이르는 풀스택 AI 기업으로 이름을 올렸다. 현재 풀스택 AI를 보유했다고 주장하는 기업은 구글뿐이다. 단, 아마존웹서비스(AWS), 메타, 마이크로소프트 등도 자체 AI 칩과 데이터센터, 모델, 서비스 등을 모두 보유하긴 했다. 앤트로픽도 자체 설계 AI 칩 생산을 진행중인 것으로 알려져있다.

문제는 할라페뇨의 양산 여부다. 반도체 생산에는 막대한 자본이 투입되고, 장기적으로 자금을 투여할 수 있어야 안정적인 칩 공급을 유지할 수 있다.

반도체 아키텍처를 설계하고 라이선스를 구매하며, 마스크를 제작하는 초기 설계 및 검증 비용만 5000만~1억5000만달러 투입된다. 실제 파운드리에서 웨이퍼를 생산하는 단가를 보면, 메타 MTIA v2의 경우 칩당 2500달러, 엔비디아 H100이 3300달러로 알려져있다.

오픈AI는 할라페뇨를 올해말까지 배포할 계획이라고 밝혔다. 할라페뇨는 이제 막 1세대고, 향후 로드맵에 따라 차세대 칩을 계속 내놓을 것이란 언급도 했다.

오픈AI는 작년 200억달러의 영업적자를 기록했고, 향후 1조달러 이상의 인프라 투자를 공언해둔 상황이다. 과연 반도체 조달까지 막대한 자금을 투입할 여력을 가졌는지 의문이다. 오픈AI는 기업공개(IPO)를 추진하다가 상장 시점을 최근 내년으로 연기하는 것으로 알려지고 있다. 자금 조달 방안이 불투명하고 현재의 현금 흐름 상황에서 실제로 할라페뇨를 인프라에 대대적으로 배포할 수 있을 지 확실치 않다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network