AI 인프라 경쟁 승부수 ‘풀스택 AI 팩토리’

AI 인프라 경쟁이 개별 GPU 스펙에서 통합 시스템 경쟁으로 옮겨가고 있다. 최근에는 데이터센터 자체를 하나의 컴퓨팅 유닛으로 설계하는 ‘AI 팩토리’ 경쟁으로 확장되고 있다. 전력과 냉각, 네트워크까지 처음부터 함께 설계하는 랙 스케일 아키텍처가 확산되면서 고밀도 데이터센터 설계와 액체 냉각이 중요해졌다. 여기에 AI 반도체의 세대교체가 빨라지면서, 고밀도 AI 인프라를 빠르고 유연하게 구축하는 방식으로 모듈형 데이터센터(PMDC)가 부상하고 있다.

경쟁의 무게중심이 또 한 번 옮겨가는 중이다. 인프라를 얼마나 빨리 구축하느냐가 아니라, 구축한 인프라에서 토큰을 얼마나 뽑아내느냐가 기준이 된 것이다. 업계가 이를 ‘AI 팩토리’로 칭하는 이유도 평가 기준이 생산량이기 때문이다. AI 팩토리의 성적표는 확보한 GPU 수량이 아니라 같은 전력과 같은 시간, 같은 비용으로 만들어내는 토큰의 양이다.

랙당 600kW 시대, 데이터센터가 갖춰야 할 요건은

랙 스케일 설계가 확산되면서 랙당 전력 밀도가 가파르게 오르고 있다. 현재 표준인 GB300 NVL72는 랙 하나에 GPU 72장을 담고 135kW를 소비한다. 엔비디아가 준비 중인 차세대 랙 ‘카이버(Kyber)’는 랙당 NV링크 도메인을 GPU 144장으로 두 배 늘리고, 이런 랙 8개를 하나의 도메인으로 묶은 NVL576 구성까지 예고했다.

밀도 향상의 배경은 랙 스케일 아키텍처의 확산이다. GPU와 CPU, 네트워크, 전력, 냉각을 처음부터 하나의 랙으로 통합 설계해 조립 시간과 장애 요인을 줄이는 방식이다. 엔비디아 베라 루빈 NVL72와 AMD 헬리오스가 대표적이고, 오픈AI와 구글, 메타, 앤트로픽 등이 잇달아 도입에 나섰다. 앤트로픽은 AMD의 헬리오스 기반 2기가와트(GW)급 인프라를 도입하기로 했고, AMD는 앤트로픽에 최대 50억 달러를 투자하기로 했다.

설계 단위가 랙으로 커지면서 데이터센터가 갖춰야 할 조건도 달라졌다. 먼저 냉각이다. 랙에 투입된 전력은 고스란히 열로 바뀐다. 공기는 비열과 열전도율이 모두 낮아 밀도가 높아지면 팬 속도를 올리는 것만으로는 칩 표면의 열을 제때 빼내기 어렵다. 반면 액체는 같은 부피로 훨씬 많은 열을 실어 나른다. 이에 고밀도 AI 랙에서 직접수랭식냉각(DLC)이 전제 조건으로 자리 잡았다.

냉각 방식만이 아니다. 랙당 요구 전력이 달라지면 수전 용량과 변압·배전 계통, 냉각 설비, 상면 하중, 배관 경로까지 데이터센터의 설계 전제가 함께 움직인다. 베라 루빈급 액체냉각 서버는 랙당 하중 2.5톤(면하중 기준)을 넘어서면서 기존 이중 바닥 구조로는 감당이 어렵다. 요구 전력이 크게 달라진 시스템을 들이려면 개별 설비를 보강하는 수준이 아니라 데이터센터 설계를 처음부터 다시 잡는 편이 일반적이다.

GPU 세대교체는 분기 단위로 빨라지는 반면, 전통 방식의 데이터센터 건설은 부지 확보부터 인허가, 시공까지 통상 24~36개월이 걸린다. 글로벌 기업들이 랙 스케일로 넘어가는 사이, 정작 그 랙을 받아줄 데이터센터가 부족한 상황이 벌어지고 있다.

순차 공정을 병렬로 바꾼 모듈형 데이터센터

데이터센터 구축은 각 단계의 소요 기간이 그대로 쌓여 2년 이상이 걸린다. 그 사이 GPU는 다음 세대로 넘어가는 것이 일반적인 속도다.

이에 데이터센터 구축 기간을 획기적으로 줄이는 모듈형 데이터센터가 대안으로 떠오르고 있다. 이는 서버와 전원, 냉각 설비, 네트워크를 컨테이너 안에 미리 탑재해 공장에서 완제품으로 만들어 두기 때문에 구축 기간을 크게 단축한다. 현장에서 수전과 인허가, 부지 조성이 진행되는 동안 데이터센터 본체는 이미 공장에서 만들어지고 있다. 완성된 모듈을 현장으로 옮겨 전력과 네트워크만 연결하면 3개월 내 시운전이 가능하다. 프리팹 모듈러 방식 자체는 슈나이더 일렉트릭과 버티브 같은 글로벌 인프라 기업들이 오래전부터 공급해 온 형태지만, AI 랙의 전력 밀도가 늘어나면서 임시방편이 아니라 고밀도 인프라의 표준 선택지로 위상이 바뀌고 있다.

국내에서도 모듈형 제품이 나오고 있다. LG CNS는 지난 3월 컨테이너형 AI 데이터센터 ‘AI 박스’를 출시했다. 1개당 서버 전력은 1.2메가와트(MW) 규모이며 GPU를 최대 576장까지 수용하고, 6개월 내 구축이 가능하다. 엘리스그룹은 지난해 아시아 최초로 B200 수랭식 AI PMDC를 구축한데 이어 올해 랙당 230kW 수준의 전력을 요구하는 베라루빈 NVL72를 지원하는 국산 PMDC 설계를 완료했다. 현재 밀도가 아니라 차세대 GPU 밀도를 전제로 설계했다는 점이 차별점이다.

토큰 생산성 고려 ‘풀스택 AI 팩토리’

국내 AI 인프라 투자는 이미 기가와트 단위로 올라섰다. 네이버는 100억달러(약 14조6000억원) 규모의 투자를 확보해 2028년까지 200MW급 AI 팩토리를 구축하고 장기적으로 GW급까지 확대한다는 계획이다. SK텔레콤은 엔비디아의 클라우드 파트너로 합류해 최대 2GW 규모의 AI 데이터센터를 추진하면서 베라 루빈 시스템 우선 할당까지 합의했다. 삼성SDS는 앤트로픽과 손잡고 기업용 AI 시장 공략에 나섰다. 국내 기업과 글로벌 빅테크가 추진 중인 협력을 합치면 약 5GW 규모로, 냉각 등 부대설비를 포함한 전력 기준으로 엔비디아 B200 200만 장에 해당한다는 게 업계 추정이다.

다만 이 투자들이 실제 연산 자원으로 바뀌는 시점은 2028년 이후다. 엘리스그룹 박정국 CTO는 “그때까지 기업들이 쓸 수 있는 자원은 지금 세워진 인프라에서 나와야 한다”며 “확보한 자원이 특정 팀이나 특정 워크로드에 묶여 놀고 있으면 토큰 생산량은 늘지 않는다”며 “GPU를 몇 장 샀느냐가 아니라, 그 GPU가 같은 전력으로 무엇을 얼마나 만들어내느냐가 기준”이라고 덧붙였다. 업계에서 초당 토큰 처리량이나 전력 1MW당 토큰 생산량 같은 지표가 거론되기 시작한 것도 그 이유다.

이 생산성은 어느 한 단계에서 결정되지 않는다. 데이터센터 구축과 자원 가상화, 클라우드 판매, 모델 운용을 각각 다른 기업이 맡으면 단계마다 최적화가 끊긴다는 게 업계의 지적이다. 냉각 효율을 높여도 스케줄러가 유휴 자원을 방치하면 실효가 없고, 스케줄링이 정교해도 네트워크에 병목이 생기면 GPU는 대기 상태로 남는다. 엔비디아가 칩과 네트워크, 소프트웨어를 묶어 공급하고 구글과 아마존이 자체 가속기까지 끌어안는 것도 단계 사이의 연결을 직접 확보해 토큰 생산성을 관리하려는 움직임이다.

국내에서도 이 단계를 통합하려는 시도가 나오고 있다. AI 풀스택 기업 엘리스그룹은 모듈형 데이터센터와 자원 가상화 솔루션, AI 클라우드, AI 에이전트를 한 사업자가 모두 갖춘 구조를 내세운다. 가상화 솔루션은 GPU와 국산 NPU처럼 성격이 다른 연산 자원을 하나로 묶어 통합 스케줄링하고, 학습과 추론 등 워크로드의 특성과 요구 성능에 따라 적합한 가속기에 자동으로 배치한다. 이더넷(RoCEv2)과 인피니밴드를 함께 활용해 대규모 GPU 서버 사이의 데이터 이동 병목도 줄인다. 학습과 검증은 GPU가, 추론과 상시 서비스는 국산 NPU가 맡는 식으로 나누면 같은 작업을 더 낮은 비용으로 처리할 수 있다. 부산 명지녹산국가산업단지에 구축 중인 조선·해양 엣지 AI 데이터센터가 이 방식을 외부 현장에 적용한 첫 사례다.

한성대 황동현 특임교수는 “기가와트급 AI 팩토리 투자는 대규모 자본과 전력 계통을 확보할 수 있는 소수 사업자에게 몰릴 수밖에 없는데, 정작 AI를 업무에 붙여야 하는 제조 현장이나 대학, 중견·중소기업은 인프라가 완공될 때까지 기다리거나 수도권 자원을 원격으로 빌려 쓰는 선택지밖에 없다”며 “데이터가 발생하는 현장과 연산이 이뤄지는 장소가 멀어질수록 지연과 비용, 보안 부담이 함께 늘어난다”고 말했다. 이어 “전력도 절대량이 부족하다기보다 지역 간 불균형이 문제인 만큼, 산업단지나 지역 거점에 필요한 만큼 나눠 배치하는 방식이 대형 데이터센터와 함께 가야 한다”고 덧붙였다.

AI 인프라 경쟁의 단위가 랙과 데이터센터 단위의 통합 설계로 옮겨가면서, 데이터센터를 얼마나 빨리 세우는지와 확보한 자원에서 토큰을 얼마나 뽑아내는지가 경쟁력을 가르는 지점이 되고 있다는 게 업계 관계자들의 공통된 관측이다. AI 팩토리를 어느 수준까지 갖추는지가 AI 서비스 사업의 진입 조건이 되고 있다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network