코로케이션 플랫폼이 토큰 경제에 기여하는 방법

[인터뷰] 스콧 밀스 디지털리얼티 제품 및 엔지니어링부문 수석부사장

AI 인프라는 이제 동일한 전력을 소모해 얼마나 많은 토큰을 생성하는가를 둘러싼 ‘토큰 경제학’을 맞이했다. 이에 데이터센터를 운영하는 기업은 단순히 고밀도 고집적 AI 인프라를 구성하는 것을 넘어 토큰 최적화를 해야 하는 상황이다.

스콧 밀스 디지털리얼티 제품 및 엔지니어링 부문 수석부사장은 최근 한국기자단과 인터뷰에서 “에이전틱 AI로 가면서 AI 워크로드에서 생성하는 토큰이 5배에서 15배까지 늘어나고 있다”며 “비즈니스에 중대한 비용 증가 요소여서 고객사는 토큰 생성 맥락에서 자신의 환경을 최적화하는 방법을 고민하고 있다”고 말했다.

그는 ”이 경우 데이터센터의 성능이 더욱 중요한 역할을 하게 되고, 밸류체인에서 전력 소모 단위 당 얼마나 많은 토큰을 생성할 수 있느냐가 중요해진다”며 “디지털리얼티는 더 낮은 수준의 PUE와 첨단의 서비스를 제공해 전반적인 토큰 경제 개선에 기여할 수 있다”고 설명했다.

기본적으로 AI 추론 환경의 경제성을 높이기 위해 지속적 배칭, 페이지드어텐션, 투기적 해독 등 AI 엔지니어 측면의 방법이 활용된다. 하드웨어 측면으로 모델의 정밀도를 낮추고 메모리 사용량을 줄여 GPU의 효율을 높이는 양자화도 거론된다.

이와 함께 데이터센터 운영기업은 데이터센터 자체의 전력 효율과 밀도를 높이는 방법으로 토큰 경제성을 높이려 한다. 냉각 비용을 줄여 토큰 생성에 투입되는 전력 소모를 줄이는 게 대표적이고, 데이터 중력과 저지연 연결을 감안한 설비 배치도 중요한 해법이다.

스콧 밀스 부사장은 “토큰 경제는 데이터센터 혼자서 높이기보다 첨단의 사이언스와 모델링을 요구한다”며 “디지털리얼티는 플랫폼을 최대한 효율화하도록 혁신하고 있으며, 토큰의 비용 단위를 줄이고, 더 많은 토큰을 생성할 수 있게 네오클라우드나 AI 자원을 플러그인 형태로 연결하는 구조로 제공하고 있다”고 강조했다.

그는 “디지털리얼티는 AI란 화두의 등장 전부터 최첨단 수준의 열관리 역량을 제공해왔고, 대규모 플랫폼이나 하이퍼스케일러의 알고리즘 학습을 위한 고밀도 인프라에 익숙하다”며 “이제 모든 분야의 고객도 최첨단 열역학 역량을 필요로 하고 있고, 우리의 시설이나 건물에 공냉, 수냉의 냉각기를 보유해 글로벌한 고밀도 코로케이션 서비스를 제공하고 있다”고 말했다.

그는 “현재 디지털리얼티의 밀도는 캐비닛 당 최대 150킬로와트(KW)이며, 복잡한 요구사항을 가진 고객사에게 향후 캐비닛 당 300KW 이상의 밀도를 제공할 수 있는 서비스를 설계하고 있다”며 “실리콘의 발열 개선 등 다양한 인프라적 노력을 기울이고 있다”고 밝혔다.

데이터센터 시장의 최근 관심은 AI 인프라에 액침냉각 방식을 도입하는 것이다. AI 칩에 수냉식을 도입하는 수준을 넘어 서버 랙을 수중에 넣어 온도를 관리하는 방법이다.

그는 “고객의 엄격해지는 수요에 대응할 책임을 갖는 인프라 제공사로서, 기술 운영 프로세스를 중요하게 여기고 장비를 원활하게 돌릴 수 있는 서비스를 제공하고, 기업에서 원하는 방식으로 SLA를 체결해 사용하게 해준다”며 “현재 냉각에 대해 주요하게 보는 기술은 후면 도어 열교환기와 직수냉각(DLC)를 조합해 고밀도 인프라를 구현하게 돕고 있으며, 냉각분배장치(CDU)도 사용중”이라고 설명했다.

그는 “액침냉각은 현재 연구실 환경에서 계속 개발하는 단계에 있으며, 향후 워런티를 연장하려는 고객이나 OEM 파트너에게 한정적으로 액침냉각을 제공할 수 있을 것으로 본다”며 “액체 안에 서버를 잠수시켜 냉각하는 형태라 기술적 어려움이 높기 때문에, 더 깔끔하고 효과적으로 할 수 있게 개발하는 상황”이라고 밝혔다.

그는 “한국에서 운영중인 ICN10과 향후 완공될 ICN11의 경우 엔지니어링 초기 단계부터 AI 사용을 감안해 설계, 구축한 데이터센터”라며 “고밀도 코로케이션 역량을 제공하며, 한국의 플랫폼 및 엔터프라이즈 기업, OEM 파트너 등과 함께 인프라 수준을 계속 향상시키고 있다”고 말했다.

하이퍼스케일러나 네오클라우드 기업의 경우 자체 데이터센터를 대도심보다 한적한 도시 외곽 지역에 배치하는 게 일반적이다. 반면, 디지털리얼티는 서울 같은 주요 대도시권에 데이터센터를 집중 배치하고 있다.

그는 “디지털리얼티는 주로 대도시권을 중심에 데이터센터를 두고 있어, 고객이 중요하게 여기고 데이터를 상주시키는 지역에 인접한 곳에서 애플리케이션을 구동하게 한다”며 “인구와 인프라가 확대되는 곳에 데이터가 집중되는 데이터 중력 현상 때문에 대도시권 서비스는 매우 중요한 역할을 한다”고 강조했다.

그는 “한국기업의 경우 직원과 고객에게 높은 수준의 AI 역량을 제공하는 데 열정적이면서도 보안과 주권에 보수적인 양립적 특징을 보인다”며 “기업의 AI 여정이 초기 단계를 넘어 실제 플랫폼에서 구현하려는 단계로 이동하고 있고, 비즈니스에 더 많은 영향을 주는 AI를 대규모로 운영 환경에 배포하려는 상황”이라고 설명했다.

디지털리얼티는 전세계 데이터센터, 클라우드, 비즈니스 파트너 등을 하나로 묶어주는 ‘글로벌 오케스트레이션 및 상호연결 플랫폼’으로 개방형 서비스 패브릭을 제공한다. 클라우드, 네오클라우드, 기타 자원 등에 원활하고 안전하게 접근하게 한다.

그는 “서비스 패브릭은 단순한 네트워크 서비스를 넘어 AI 오케스트레이션 수준의 서비스”라며 “플랫폼이나 엔터프라이즈 기업이 어디에 리즈닝 모델을 물 것인지, 어디에 컨텍스트 윈도우를 배치할 지 생각할 때 프라이빗 환경이든 개방형 환경이든, 클라우드든 물리적 GPU든 서비스 패브릭의 오케스트레이션 역량을 사용해 높은 수준의 하이브리드 AI 인프라를 구현하게 해준다”고 강조했다.

전력 공급이 AI 발전의 최대 걸림돌로 여겨질 정도로 데이터센터의 에너지원 확보가 중요해지고 있다. 이에 대해 그는 현지 지방정부와 에너지 제공사와 긴밀하게 협업하고 있다고 설명했다.

그는 “전기는 정책적 관점과 기술적 관점으로 접근하고 있는데, 정책적으로 현지의 지방자치단체나 유틸리티 제공사와 긴밀히 협업해 소중한 전력 자원을 최대한 효율적으로 사용하고 있다”며 “데이터센터를 운영중인 지역 사회 구성원과도 투명하고 열린 마음으로 소통한다”고 말했다.

이어 “기술적으로 전기를 더 효율적으로 사용하고 배전 효율을 높이는 방안을 고민한다”며 “그린에너지 사용에 투자하고, 자가 발전 가능성도 검토하고 있으며, 그 과정에서 유틸리티 회사와 협력해 그리드의 사용량에 따라 과잉 사용이나 과소 사용 시 자가 발전에 활용하는 논의도 하고 있다”고 덧붙였다.

AI 인프라는 물리적으로 점점 커지고 무거워지고 있다. 엔비디아의 최신 GPU 서버 랙의 경우 기존 데이터센터에서 사용하던 표준랙보다 거대하고, 고밀도로 가면서 하중도 커지고 있다. 제한된 시설 공간에 많은 고객을 유치해야 하는 코로케이션 기업 입장에서 랙 하중과 크기의 증가는 고민거리다.

이에 대해 스콧 밀스 부사장은 “랙의 무게와 관련해 과거엔 무거운 캐비닛을 바닥에 배치하고 대규모 면적으로 랙을 분산 배치해 중량을 분산했다”며 “고집적 AI 인프라의 경우 분산 배치는 비효율적이므로, 강화된 콘크리트 슬래브로 바닥을 구성해 캐비닛 중량 증가에 대비하고, 단차를 두는 타일 구조를 만들고 보강해서 더 무거운 캐비닛을 감당하게 하고 있다”고 말했다.

그는 “단차와 강화 콘크리트의 이점을 모두 구현하려면 높은 수준의 엔지니어링 기술이 필요한데, 슬래브로 바닥을 구성할 때 액체 냉각 파이프를 캐비닛 위로 올리고 단차 구조물에선 파이프를 바닥에 두는 등 다양한 설계 기술을 보유했다”며 “미터 당 KW 관리도 중요한데, 고밀도 캐비닛 배치 상황에서 오히려 유효한 공간이 남는 반면 오히려 유휴 전력을 발생시키는 문제가 생기므로 효율적인 배전을 구현하려 한다”고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network