[까다로운 IT] 빅테크들은 왜 다 AI 반도체를 만들까

이종철의 까다로운 IT, 오늘은 반도체에 익숙하지 않은 분들께 AI 반도체 이야기를 들려드립니다.

최근 인텔, 메타, 구글할 거 없이 모든 업체가 AI 반도체를 선보이고 있죠. 이유는 간단합니다. 엔비디아 GPU가 비싸도 너무 비싸기 때문이에요. 그런데 이 GPU들이 AI에 필수품처럼 여겨지다 보니까 물량 확보하는 것도 어렵거든요. 그럼 가격이 더 오르죠. 그래서 미국엔 이런 말이 있습니다. 재주는 오픈 AI가 부리고 돈은 엔비디아가 번다.

AI를 운용하는 데 엔비디아 GPU를 쓰면 얼마가 드는지 아시나요? 월스트리트 투자 은행 번스테인 리서치 분석가 스테이시 래스건에 따르면, 챗 GPT 검색 쿼리 비용은 0.04달러입니다. 그러면 구글 검색량의 1/10 정도만 나와도 챗GPT 운영사 오픈 AI는 약 481억달러의 GPU가 필요하고요. 약 66조원이죠. 연간 운영 비용은 160억달러입니다. 약 22조원. 굉장하죠?

그래서 제조사들은 생각합니다. 확 내가 만들어? 이 분야에서 선두주자는 구글입니다. 구글은 원래부터 TPU로 부르는 AI 반도체를 만들고 있었어요. 구글이 오픈 AI 등장하기 전에는 AI 업계에서 짱먹고 있었는데 요즘 왠지 2등으로 밀려난 느낌이죠. 어쨌든 TPU는 우리가 아는 AI 반도체, NPU의 다른 이름입니다. 원래는 이미지 학습 이런 데 쓰고 있던 TPU를 조금 조정해서 챗 GPT 같은 LLM 훈련에 쓰이도록 한 거죠. 구글은 무려 2013년부터 AI 머신 러닝을 하고 있었거든요. 2024년인 현재는 v5p로 부르는 제품을 내놓았습니다. 구글은 v5p가 지난 버전 v5e보다 성능이 2배 개선됐고, LLM 학습 속도는 3배 증가했다고 밝히고 있죠. 엔비디아 제품과의 직접적인 성능 비교는 피했는데요. 인텔은 화끈하게 우리가 더 좋다-이렇게 나왔습니다.

인텔은 자체 행사에서 AI 반도체 가우디 3가 엔비디아 H100보다 전력 효율이 두배 높고 AI 모델은 1.5배 더 빠르게 실행할 수 있다고 밝혔습니다. 근데 좀 이상한 게, H100은 2세대 전 제품이에요. 지금 시장에 H200이 풀려 있고요. B100, B200도 공개된 상태입니다. 뭐 어쨌든 전 세계 데이터 센터들이 가장 많이 쓰는 제품이 A100과 H100인 만큼, 그거 이상의 성능은 내주겠다, 우리 것 좀 써라 뭐 이렇게 말하고 있는 거죠.

오픈 AI와 거의 한몸처럼 움직이는 MS도 AI 반도체를 만듭니다. 애저 마이아 100이라고 부르는 제품이 있고요. 애저 코발트로 부르는 제품도 있어요.

요즘 AMD도 AI 반도체를 내놓고 있습니다. H100에 대응하는 제품이고요. MI300X라고 부르는데(이미지 삽입: MI300X), 메타의 라마2, 블룸 등의 모델에서 H100 대비 1.6배 높은 성능을 낸다고 알려져 있습니다. 그리고 가격이 저렴하죠. H100은 거의 4만달러, 5500만원 정도 하는데요. 그래 놓고 MI300X의 가격을 공개하지는 않았는데, 개당 만달러, 1380만원 정도로 예상됩니다. 훨씬 저렴하긴 하네요.

그다음은 구 페이스북, 메타입니다. LLM을 아주 빠르게 많이 만들고 있는 기업이죠. 작년에 메타는 자체 AI 반도체를 공개했는데요. 엔비디아 동급 제품 대비 전력 소비량이 1/20 수준이라고 밝혔습니다. 25와트 수준이라는데요. 아키텍처 역시 RISC-V, 오픈 소스를 썼습니다. 그러니까 우리는 다 공개하겠다, 라마 써라 이런 거죠.

그다음은 아마존입니다. 아마존 행보는 조금 특이한데, 대부분 업체들이 자사 데이터센터에 쓰려고 만드는데요. 아마존은 좀 팝니다. 아마존 추론 칩 ‘인페렌시아(Inferentia)’와 트레이닝 칩 ‘트레이니엄(Trainium)’이 있는데요. 이름이 어렵습니다. 인페렌시아는 2도 나와 있고요. 1750억개의 매개변수를 처리할 수 있습니다. 아마존이 왜 특이하냐 하면 챗 GPT 대항마로 불리는 앤트로픽의 클로드 3라는 게 있거든요. 굉장히 성능이 좋은 챗봇인데, 앤트로픽에 투자까지 하면서 아마존 제품을 사용하게 하고 있습니다. 그러니까 클로드 3 성능이 잘 뽑힐 경우에 아마존은 “봐라, 우리 꺼 이만큼 좋다”라고 말할 수 있는 거죠. 약간 아쉬운 점은 앤트로픽은 엔비디아 제품도 쓴다는 겁니다. 어쨌든 한마디는 할 수 있게 됐죠.

여러분, 테슬라도 AI 반도체 만드는 걸 알고 계십니까? 도조 D1이라고 해서 슈퍼컴퓨터용입니다.

자, 국내 업체들도 AI 반도체를 활발하게 만들고 있는데요. 리벨리온, 사피온, 퓨리오사AI가 유명하죠.

이중 리벨리온은 엔비디아 동급 대비 3배 이상의 추론 성능과 효율을 낼 수 있다고 발표했죠.

사피온은 SKT의 자회사인데요. 최근에 신제품을 내놨죠. X330이라고, 경쟁사 모델보다 연산 성능 2배, 전력 효율은 1.3배 우수하다고 말했습니다. 이 경쟁 제품이 뭔지는 안 밝혔는데, 엔비디아 H100은 아니고 L40S인 것으로 예상됩니다.

퓨리오사AI는 워보이라고, 비전 연산 특화 제품을 만듭니다. LLM 쪽은 아니죠. 어쨌든 MLPerf라고 딥러닝 대회 같은 게 있거든요. 여기서 엔비디아 A2 칩 대비 우수한 성능을 기록했습니다.

아니 근데 엔비디아는 왜 이렇게 동네북인 걸까요? 진짜 성능이 별로인 걸까요? 아닙니다. 저 중에 엔비디아 칩셋을 범용으로 이길 수 있는 건 하나도 없어요. 대신 이럴 수는 있죠. 메타나 구글은 자체 LLM을 갖고 있잖아요. 특화시켜서 만들면 더 효율적일 수는 있습니다. 그런데 메타나 구글이 자체 LLM만 쓰지 않고 다양한 딥러닝 연산을 해야 하잖아요? 그래서 결국 엔비디아 제품도 써야 됩니다. 그리고 엔비디아 제품은 시각화가 가능한 GPU에 NPU도 달려 있는 거라 이기기 쉽지 않습니다. 대신 최적화 저가 제품이 많이 나와서 비용 효율을 추구해 볼 수는 있다-이 정도로 아시면 됩니다.

AI 반도체는 후반기쯤 되면 더 많은 제품들이 등장할 것 같은데요. 그때 다시 AI 반도체 소식 들려드리도록 하겠습니다. 그럼 그때까지 구독, 좋아요, 알림 설정.

영상제작. 바이라인네트워크

촬영·편집. 바이라인네트워크 영상팀 byline@byline.network

대본. <이종철 기자>jude@byline.network