뉴타닉스, AI 인프라 재구축으로 운영비 50% 절감

“공급업체의 과금 모델 변경으로 하룻밤 사이 토큰 비용이 350% 폭등해 예산에 없던 수백만달러를 추가로 지출해야만 했습니다.”

맨디 달리왈(Mandy Dhaliwal) 뉴타닉스 최고마케팅책임자(CMO)는 13일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘넥스트 온 투어 2026 서울(NEXT on Tour 2026 Seoul) 컨퍼런스에서 이같이 말했다. 이번 컨퍼런스는 인공지능(AI) 인프라 도입 과정에서 나타나는 비용 상승과 구조적 복잡성 문제를 해결할 방안을 공유하고자 뉴타닉스 주최로 열렸다.  

텍스트를 인식하고 생성하는 기본 단위인 토큰(Token) 소비량 증가는 대규모언어모델(LLM) 운영비 상승으로 이어진다. 폴 하브(Paul Harb) 뉴타닉스 솔루션 및 성능 엔지니어링 부사장은 “LLM은 토큰을 엄청나게 많이 쓰고, 그만큼 비용도 많이 든다”며 LLM 운영 과정에서 발생하는 비용 문제를 지적했다. 이어 그는 LLM에 모든 연산을 의존하면 토큰 소비를 통제하기 어려워 운영비가 급증할 수 있다고 분석했다.

하브 부사장은 자사 청구액이 급증하자 최고재무책임자(CFO)로부터 문제를 즉각 해결하라는 지시를 받았다고 당시 상황을 설명하며 토큰의 불필요한 소비를 통제하고 비용 누수를 줄일 수 있는 구조를 마련해야 한다고 강조했다.

뉴타닉스는 해결책으로 전체 인공지능(AI) 생태계를 하나의 공장으로 바라보는 AI 팩토리 아키텍처 재구축에 나섰다. 서버와 네트워크 등 하드웨어 기반 위에 적절한 소프트웨어 모델을 구성하고, 이메일 조회나 데이터베이스 검색 등 실무 작업은 에이전트에 맡기는 방식이다. 이를 통해 LLM이 불필요한 연산을 수행하거나 토큰을 소비하는 일을 줄일 수 있다. 하브 부사장은 지능형 에이전트 설계를 통해 토큰 소비를 직접 통제할 수 있어야 비용 효율적인 AI 환경을 구축할 수 있다고 덧붙였다.

현재 정보기술(IT) 시장은 거시경제 불확실성과 비용 상승으로 부담이 커지고 있다. 달리왈 CMO는 “지난 1년간 통제되지 않는 AI 에이전트와 곳곳에서 발생하는 보안 위협 등 다양한 이슈가 부각됐다”며 “특히 서버 가격이 5배나 오르고 메모리 부족까지 겹치면서 기업의 사업 추진 부담이 커지고 있다”고 말했다.

달리왈 CMO에 따르면 새로운 기술이 등장할 때마다 IT 인프라가 분산되고 운영 복잡성이 커졌으며, 가상화 기술이 도입되던 초기에는 스토리지와 네트워크, 컴퓨팅 자원이 분리돼 시스템 통합에 어려움을 겪었다. 이후 클라우드 환경이 확산하면서 온프레미스 시스템과 데이터센터, 클라우드 운영 조직이 나뉘어 인프라를 통합적으로 관리하기 어려워졌고, 쿠버네티스 환경에서도 플랫폼 엔지니어링 조직이 새롭게 등장하고 다양한 실행 환경과 운영 도구가 추가되면서 관리 복잡성이 커졌다.

AI 도입이 확대되면서 이러한 문제는 더욱 두드러지고 있다. 기업 내부에는 온프레미스와 클라우드, 쿠버네티스 기반 애플리케이션(앱)이 혼재해 있으며, 여기에 복잡한 AI 워크로드까지 더해지고 있다. 달리왈 CMO는 “중앙처리장치(CPU)와 그래픽처리장치(GPU)를 활용한 AI 연산은 물론 양자컴퓨팅과 물리적 AI, 로봇까지 실제 현장에 도입되고 있다”며 “하지만 이를 관리할 거버넌스 체계와 자원 사용량을 파악할 수 있는 가시성이 부족해 비용을 통제하기 어려워지고 있다”고 강조했다.

뉴타닉스는 분산된 인프라를 통합 관리하는 플랫폼을 통해 운영 복잡성을 줄이고 비용 통제력을 높이는 전략을 제시했다.

회사는 수백만달러 규모의 추가 운영비가 발생한 위기를 계기로 내부 AI 운영 모델을 하이브리드 방식으로 전면 개편했다. AMD와 엔비디아(NVIDIA)로부터 그래픽처리장치(GPU)를 직접 구매하고 자체 솔루션을 재설계했다. 이를 통해 운영비 지출에 의존하던 방식에서 벗어나 자본적 지출(CapEx)을 기반으로 인프라를 직접 확보하고 통제권을 강화하려는 것이다.

하브 부사장은 인프라 재구축 과정을 AI 공장이라는 의미의 AI 팩토리에 비유하며 주요 구성 요소를 소개했다. 먼저 서버와 GPU, 네트워크, 스토리지 등 물리적 인프라를 구축해야 한다. 여기에 허깅페이스 등을 통해 제공되는 오픈소스 모델과 폐쇄형 모델을 함께 활용하고, 각 모델을 효율적으로 구동할 수 있는 시스템을 갖춰야 한다고 설명했다.

비용 통제의 핵심은 LLM과 에이전트의 역할을 분리하는 것이다. LLM이 사용자의 질문을 이해하고 추론하면, 이메일 검색이나 데이터베이스 조회 등 구체적인 작업은 에이전트가 수행한다. 이를 통해 LLM이 단순 작업까지 직접 처리하면서 발생하는 불필요한 연산과 토큰 소비를 줄일 수 있다.

뉴타닉스는 자체적인 하이브리드 아키텍처 재구축을 통해 비용 절감 성과를 거뒀다. 달리왈 CMO는 외부 클라우드나 특정 벤더의 과금 모델에 의존하는 대신, 하드웨어를 직접 구매해 자산으로 확보하는 자본적 지출(CapEx) 방식으로 전환했다고 밝혔다. 이를 통해 기존 운영 방식보다 비용을 50% 절감했으며, 기업의 업무 특성과 목적에 맞춘 목적 적합형(Fit-for-purpose) AI을 보다 효율적으로 운영하고 있다고 설명했다.

비용 최적화의 기반에는 하드웨어와 소프트웨어 자원을 통합 관리하는 단일 플랫폼 전략이 있다. 뉴타닉스는 핵심 기능인 ‘에이전트 게이트웨이’를 도입해 토큰의 불필요한 소비를 줄이고 비용 통제력을 높였다.

하브 부사장은 AI 인프라 구축 과정에서 비용과 복잡성을 줄이려면 체계적인 접근이 필요하다고 강조했다. 그는 인프라 설계 단계부터 지능형 구조와 특정 벤더에 종속되지 않는 개방형 환경, 데이터를 보호할 수 있는 보안 체계를 갖춰야 하고, 원칙에 따라 인프라를 구축하면 비용 절감은 물론 기업의 AI 활용과 사업 확장에도 도움이 될 수 있다고 덧붙였다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network