나무AX “효율적 AI 인프라부터 갖추는 AI 에이전트 환경”

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼⑤]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

기업들의 생성형 AI 도입이 단순 챗봇 개념 검증(POC)를 넘어 실무 업무를 자동화하는 ‘에이전틱 AI’ 단계로 진화하고 있다. 수많은 기업들이 막상 에이전트를 실무 프로덕션 환경에 투입하려 할 때 예기치 못한 난관에 부딪힌다. 프롬프트를 수정하거나, 더 비싼 LLM 모델로 교체하거나, 파인튜닝을 거쳐도 해결되지 않는 엔터프라이즈 고유의 권한, 비용, 보안, 실행 위험 과제가 존재하기 때문이다.

나무AX는 이러한 현장의 페인포인트를 정조준한 엔터프라이즈 전용 온프레미스 에이전틱 AI 플랫폼 ‘NAMU Agentic AI(NAA)’을 제공한다.

NAA 는 온프레미스 및 AI 데이터센터(AIDC) 환경에서 인프라 추상화부터 최상위 에이전트 애플리케이션까지 통합 제공하는 엔터프라이즈 풀스택 플랫폼이다.

나무AX는 단품 AI 소프트웨어 공급에 그치지 않고, 하드웨어 인프라부터 IaaS 인프라 추상화, 컨테이너 플랫폼, AI 오케스트레이션, 에이전트 애플리케이션, 클라우드 관제 등으로 연동되는 6계층 구조를 구성했다. 델 프리미엄 파트너로서 GPU 서버 인프라를 공급하고, 퓨리오사AI, 리벨리온 등 국산 AI 반도체 파트너와 함께 NPU 장비를 제공한다. 가상화 및 베어메탈 프로비저닝을 담당하는 ‘나무버트(NaMuVirt)’와 쿠버네티스 기반 ‘칵테일 클라우드’ 경량 버전이 인프라를 추상화한다. AI 모델 서빙 및 GPU 분할·스케줄링을 담당하는 ‘엑스터(Xster)’ 오케스트레이터 위에 ‘NAA’ 에이전트 플랫폼이 탑재된다. 멀티 하이브리드 클라우드 관리 플랫폼인 ‘스페로(SPERO)’가 핀옵스(FinOps), 부서별 과금, 보안 거버넌스, 멀티 AIDC 관제를 총괄한다.

NAA의 가장 큰 기술적 특징은 요청부터 응답까지의 실행 경로를  인증·맥락·라우팅·에이전트·검증의 5단계로 통제한다는 점이다. 인증을 맡는 1단계 게이트웨이에서 에이전트의 질문을 ‘특정 권한을 가진 주체의 대화 맥락’으로 전환한다. 2단계에서 대화 이력과 함께 보안 강화를 위한 ‘스킬 및 MCP 허용 목록’을 주입한다. 사후 집계가 아닌 ‘사전 예산’을 라우터 판단의 제약 조건으로 전달한다. 3단계인 다차원 라우터는 의도, 데이터 최신성, 위험도, 사용자 권한, 토큰 한도를 동시 계산해 복합 경로와 신뢰도를 출사한다. 4단계에서 범용 작성, 검색어 재작성 기반 검색·RAG, 조회 전용 관문을 거치는 SQL 데이터, 서브 에이전트를 병렬 구동하는 심층 리서치 에이전트가 역할을 수행한다. 5단계에서 생성 주체(LLM)와 독립된 검증기가 출처 근거, 경로 간 정보 충돌, 권한별 비공개 정보 누출 여부를 판정한 후 사용자에게 스트리밍 배출한다.

나무AX는 기업의 배포 환경에 따라 2가지 버전으로 플랫폼을 제공한다. 클라우드 환경의 경우 NAA와 레드햇 오픈시프트 AI 조합 솔루션을 공급한다. 폐쇄망 환경의 경우 NAA와 엑스터OPS를 결합한 NAAX를 제공한다. 이 조합은 MIG 기반 GPU 분할과 모델 카탈로그 엔드포인트 자동 생성 기능을 갖춰 췄다.

나무AX가 내세우는 강점은 하드웨어 레벨의 세부적인 제어다. 고가의 GPU 서버 장비의 운영 효율을 높여 효율적인 에이전트 환경을 제공한다는 것이다.

고우주 나무AX 최고AI책임자(CAIO, 상무)는 “대기업도 온프레미스 환경에서 GPU 서버를 구매해 데이터센터를 만들고 사용하는데, 사용 운영에 대한 개념이 많이 부족하다”며 “엔비디아 GPU 8장짜리 서버에서 프로세스를 실행하면 무조건 메모리 전체를 점유해버려, 실제 사용률이 10~20%만 돼도 나머지 80%는 그냥 잉여가 된다”고 설명했다.

그는 LLM 추론 시 트랜스포머 알고리즘 고유의 KV 캐시 메모리 점유 현상(메모리의 60~80% 차지)과, 가시성 부재로 인한 무단 채굴 및 자원 오남용, 부서별 메타데이터 부재로 수백 개 모델이 방치되는 수동 운영의 포화 상태도 지적했다.

나무AX는 AI 기술 패러다임의 변화에 맞추어 ‘효율적 AI’와 ‘모듈형 AIDC 구축’, ‘소버린 AI’ 생태계를 솔루션의 최우선 지향점으로 설정하고 있다. 나무AX는 엔터프라이즈 현장에서 에이전트 구축 시 반드시 해결해야 하는 핵심 요소로 실행 경로의 통제, GPU 최적화(Efficient AI), 보안 및 컴플라이언스, 사전 예산 관리를 꼽는다.

고우주 나무AX 상무는 “GPU를 비효율적으로 쓰고 있고, 관리도 매뉴얼로 하고 있어서 운영 부담도 늘고 있으며, 또 스택의 분절이 나타나면서 담당조직의 책임소재가 불분명해지는 문제도 있다”며 “GPU 사용률을 높이고, 운영비용을 상쇄하는 오케스트레이션 미들웨어가 데이터센터의 생산성을 높일 수 있다”고 말했다.

나무AX는 비싼 GPU 인프라를 증설하는 대신, 소프트웨어 제어로 효율성을 극대화한다. vLLM(KV 캐시 메모리 절감)과 llm-d(쿠버네티스 네이티브 병렬 추론) 프레임워크를 탑재해 동시 처리량을 2~4배 확장하고 메모리 점유율을 50% 절감하는 추론 최적화 미들웨어 역할에 집중한다.

또, 하드웨어 및 AI 기술 스택이 수시로 교체되는 상황에서, 모듈형 아키텍처를 채택해 변화에 빠르게 대응할 수 있도록 했다. 고우주 상무는 “솔루션을 너무 무겁게 가져가면 기술 변화에 대응하기 어렵다”며 “모듈형 AI 솔루션은 필요에 따라 레이어를 붙이고 필요 없으면 빨리 떼어내는 식으로, 코어는 유지하되 모듈식으로 유연하게 구성해야 한다”고 강조했다.

나무AX는 고객이 온프레미스 GPU 인프라 도입 시 겪는 막연한 예산 책정 오류를 방지하기 위해 정교한  GPU Sizing & TCO 계산기’를 개발해 인프라 도입 컨설팅을 제공하고 있다.

과거 AI 시장이 모델 직접 학습이나 파인튜닝(MLOps)에 집중했다면, 현재는 이미 검증된 파운데이션 모델을 활용한 추론 최적화 및 에이전트 오케스트레이션이 핵심으로 떠올랐다.

나무AX는 모델 자체를 개발하는 대신, 프롬프트 의도 파악, 다이내믹 라우팅, MCP 스킬 연결, 추론 스케줄링을 전담하는 ‘미들웨어 오케스트레이터’ 영역에서 압도적인 기술 경쟁력을 확보한다는 전략이다.

국내 공공, 금융, 기업들의 데이터 주권 확보 및 온프레미스 수요에 대응하기 위해 나무AX는 국내 하드웨어 및 솔루션 전문 기업들과 강력한 MOU 파트너십 생태계를 구축했다. 국산 서버 전문 제조사 KTNF 및 코코링크와 협력해 국산 제조 서버에 엑스터(Xster) OS 및 NAA를 결합한 ‘국산 AI 어플라이언스’를 공동 공급하고, 아이에이클라우드와 퓨리오사AI, 리벨리온 등 국산 NPU를 활용하는 모듈형 AI 게이트웨이를 개발해 공공 데이터센터 시장을 공략하고 있다. 대학 전용 포털 솔루션 ‘인텔리 포털’과 엑스터 및 NAA를 결합해 대학 캠퍼스 온프레미스 AI 인프라 시장 및 한국전력 AI 플랫폼 컨소시엄 사업을 추진 중이다.

나무AX는 기존에 보유했던 기존 가상화 및 클라우드 기술 자산과 신규 AI 오케스트레이션을 하나의 완벽한 AIDC 스택으로 통합해, 피지컬 AI 데이터센터 구축부터 운용까지 책임지는 글로벌 AIDC 리더로 도약하는 것을 최종 목표로 하고 있다.

고우주 상무는 “더 이상 모델 학습이나 무거운 파인튜닝에 집착할 필요가 없다”며 “에이전트 시대에는 컨텍스트와 도구(MCP)를 정교하게 연결하고, 오케스트레이션을 통해 추론 메모리와 속도를 효율적으로 통제하는 미들웨어가 승패를 가른다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network