지금의 엔비디아를 만든 젠슨 황의 ‘결정적 선택’

“엔비디아는 지포스가 지은 집이다”

젠슨 황 CEO는 23일(현지시각) AI 연구자 렉스 프리드먼이 진행하는 팟캐스트에 출연해 이같이 말했다. 어떤 의미일까?

2000년대 중반, 엔비디아는 ‘지포스(GeForce)’라는 그래픽카드로 게이머들 사이에서 명성을 높이고 있었다. 당시 회사 규모는 시가총액 기준 60억~80억 달러 수준이었다. 화려한 그래픽을 원했던 게이머들에게 지포스는 필수재였다.

지포스가 이렇게 잘 나갈 때 젠슨 황 CEO는 다소 의외의 의사결정을 내렸다. 쿠다(CUDA)라는 소프트웨어를 지포스에 탑재하기로 한 것이다. 쿠다는 개발자들이 GPU의 병렬연산 능력을 그래픽 이외의 목적으로 사용할 수 있도록 지원하는 인터페이스다.

화려한 그래픽을 원하는 게이머들이 주로 쓰는 GPU에 굳이 쿠다를 넣어서 원가를 50%나 올렸다. 당시 엔비디아의 매출총이익률은 35% 수준이었다. 원가가 50% 오른다는 것은, 매출총이익 전부가 이 결정 하나에 소진된다는 의미였다. 이 결정은 당연히 실적에 악영향을 미쳤고, 엔비디아의 시가총액은 15억 달러까지 떨어졌다. 최고점 대비 약 80% 하락이다.

단기 실적 면에서 최악의 결정처럼 보였던 이 판단은, 아이러니하게 현재 엔비디아를 세계 최고의 반도체 기업, AI 시대의 지배자로 자리매김하도록 만든 배경이었다. AI 개발자들이 엔비디아 GPU를 선택하는 첫번째 이유가 쿠다이기 때문이다.

그래픽 카드 회사에서 컴퓨팅 회사로 진화

젠슨 황 CEO는 지포스에 쿠다를 넣는 전략을 취한 이유에 대해 “(쿠다의) 설치 기반을 넓히기 위해서”라고 설명했다. 지포스에 쿠다를 넣으면 지포스가 탑재될 때마다 자연스럽게 쿠다도 설치된다.

황 CEO는 “설치 기반이 아키텍처를 정의한다. 나머지는 전부 부차적”이라고 강조했다. 기술의 완성도보다, 얼마나 더 많이 확산돼 있는지가 중요하기 때문에 이런 전략을 선택했다는 의미다.

황 CEO는 특히 “우리는 (그래픽 카드 회사가 아니라) 컴퓨팅 회사가 되고 싶었다”고 강조했다. 그는 “컴퓨팅 회사는 컴퓨팅 아키텍처를 가져야 하고, 컴퓨팅 아키텍처는 우리가 만드는 모든 칩에서 호환돼야 한다”고 말했다. 컴퓨팅 회사는 단순히 하드웨어를 파는 게 아니라, 개발자들이 그 위에서 소프트웨어를 짤 수 있는 플랫폼이 있어야 하는데, 쿠다가 바로 그 ‘컴퓨팅 아키텍처’라는 설명이다.

그 전략의 결실은 10년 후 나타났다. 2012년 AI 이미지 분석 대회인 이미지넷이 그 상징이었다.

그해 이미지넷에서는 알렉스넷이라는 AI가 경쟁자보다 압도적인 품질을 보이며 우승했다. 알렉스넷은 딥러닝에 GPU를 사용한 첫번째 AI였다. 지포스 GTX 580 두 장을 사용한 것에 불과했지만, 일반 CPU만으로 학습한 AI와는 차이가 컸다.

알렉스넷 개발자들이 이미지 인식 AI 개발에 GPU를 사용한 이유는, 자신들의 PC에 엔비디아 GPU가 탑재돼 있고, 아울러 쿠다가 깔려 있었기 때문이다.

황 CEO는 “나는 항상 엔비디아는 지포스가 지은 집이라고 말한다”면서 “지포스가 쿠다를 모든 사람에게 전달했기 때문”이라고 강조했다.

“스케일링 법칙은 죽지 않았다”

이번 팟캐스트에서 황 CEO는 AI 스케일링 법칙 논쟁에 대해서도 입장을 밝혔다. 일각에서는 컴퓨팅 규모를 키우면 AI 성능도 올라간다는 스케일링 법칙이 한계에 달했다고 이야기하는데, 그는 이를 반박했다.

황 CEO는 AI 스케일링을 네 단계로 구분했다. 사전 학습, 사후 학습, 테스트 타임, 에이전틱 스케일링이다. 그는 한 단계가 막히면 다음 단계가 열리기 때문에 스케일링 법칙은 계속되고 있다고 설명했다.

스케일링 한계론의 근거로 자주 인용되는 것은 오픈AI 공동창업자 일리야 수츠케버의 “데이터가 고갈됐다”는 발언이다. 사전 학습에 쓸 고품질 데이터가 더 이상 없다는 의미다. 더 학습할 데이터가 없으니 컴퓨팅 인프라도 더 확장할 필요가 없다는 논리로 이어졌다.

그러나 황 CEO는 이제는 사전학습 단계를 넘어 추론 단계에서 연산을 늘리는 방식, 즉 AI가 답을 내놓기 전에 더 오래 생각하게 만드는 테스트 타임 스케일링이 새로운 축이 됐다고 진단했다.

그는 에이전트 시대로의 전환도 이 맥락에서 설명했다. 황 CEO는 오픈소스 AI 에이전트 플랫폼인 오픈클로를 언급하며 “챗GPT가 생성형 AI 시스템에 한 것을, 오픈클로가 에이전트 면에서 했다”고 평가했다. 오픈클로로 인해 AI가 툴을 사용하고 복잡한 작업을 자율적으로 수행하는 시대를 열었다는 것이다. 에이전트 시대에는 그에 맞는 스케일링이 또 필요해진다는 황 CEO의 판단이다.

이 때문에 엔비디아 하드웨어 설계도 이미 그 방향으로 바뀌었다고 그는 덧붙였다. 황 CEO는 “그레이스 블랙웰 랙은 대형언어모델(LLM) 처리 하나에 집중 설계됐다”면서 “베라 루빈 랙은 완전히 다르다. 에이전트를 실행하기 위한 것이고, 에이전트는 툴을 두드린다”고 설명했다.

황 CEO는 “이 루프, 이 사이클은 계속해서 반복될 것”이라며 “결국 지능은 한 가지로 스케일된다. 바로 컴퓨트”라고 단언했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network