오케스트로-퓨리오사AI, AI 인프라 사업 확대 협력

오케스트로그룹은 퓨리오사AI(대표 백준호)와 지난 18일 서울 강남구 퓨리오사AI 본사에서 ‘NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력’을 위한 업무협약(MOU)을 체결했다고 21일 밝혔다.

양사는 올해 초부터 퓨리오사AI의 2세대 NPU ‘RNGD(레니게이드)’와 오케스트로 AI 인프라 소프트웨어 간 긴밀한 기술 협력을 이어왔다. 퓨리오사AI NXT RNGD 서버를 오케스트로 AI 인프라 환경에 구축해 호환성과 주요 기능을 검증하고, RNGD 기반 LLM을 실제 서비스 환경에서 안정적으로 배포·서빙·운영하기 위한 기술을 단계적으로 구현해 왔다.

그 성과로 오케스트로는 기존 GPU 중심으로 제공해 온 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’의 지원 범위를 퓨리오사AI RNGD까지 확장했다. CONCERTO A.I.는 AI 모델의 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 통합 지원하는 AI 추론 인프라 플랫폼이다. 양사의 기술 협력을 통해 고객이 NPU 기반 LLM 서빙 환경을 직접 구성해야 하는 부담을 줄이고, NPU에서도 AI 서비스를 보다 손쉽게 구축·운영할 수 있는 기반을 마련했다.

CONCERTO A.I.는 단순한 NPU 기반 모델 구동을 넘어, 실제 서비스 운영에 필요한 지능형 라우팅과 토폴로지 기반 스케줄링 기능도 지원한다. 요청 특성과 가속기 자원을 고려해 적합한 추론 경로를 구성하고, GPU·NPU 등 이종 AI 가속기를 서비스와 워크로드 특성에 맞춰 활용할 수 있도록 한다.

이번 MOU는 그동안 축적한 기술 검증 성과를 실제 고객 사업으로 연결하기 위한 협력의 다음 단계다. 양사는 다양한 AI 모델과 워크로드를 대상으로 퓨리오사AI RNGD 기반 AI 인프라의 성능과 안정성을 지속 검증하고, 고객 대상 BMT와 실증을 통해 실제 서비스 환경에 적합한 구축·운영 모델을 구체화할 계획이다.

검증된 기술의 시장 적용을 위해 사업 협력 범위도 넓힌다. 공공·금융·기업 고객의 AI 서비스 요구와 워크로드 특성에 맞춰 RNGD 기반 AI 인프라를 공동 설계·제안하고, BMT와 실증을 실제 구축 사업으로 연결해 산업별 레퍼런스를 확보한다는 전략이다. 공동 영업과 마케팅, 기술 지원도 연계해 RNGD 기반 AI 인프라의 시장 적용을 확대하고 신규 사업 모델 발굴도 함께 추진한다.

중장기적으로는 다양한 AI 모델과 워크로드에 대응할 수 있도록 차세대 AI 추론 인프라에 대한 공동 기술 검증도 확대한다. 모델과 추론 런타임, AI 가속기를 아우르는 통합 운영·모니터링 기술을 고도화하고, 향후 GPU와 NPU 등 다양한 가속기를 워크로드 특성에 따라 효율적으로 활용할 수 있는 이기종 AI 인프라 환경으로 협력 범위를 확대할 계획이다.

오케스트로는 이러한 기술 협력을 자체 AI 인프라 풀스택 소프트웨어 역량과도 연계한다. 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’, 클라우드 네이티브 운영 관리 플랫폼 ‘비올라(VIOLA)’, 멀티·하이브리드 클라우드 통합 관리 플랫폼 ‘오케스트로 CMP(OKESTRO CMP)’, 데브옵스 솔루션 ‘트럼본(TROMBONE)’ 등을 기반으로 AI 인프라의 구축부터 플랫폼 운영, 통합 관리까지 아우르는 역량을 강화하고 NPU를 포함한 다양한 AI 컴퓨팅 자원을 활용하는 사업으로 영역을 넓힌다.

특히 양사는 국산 AI 모델과 국산 AI 가속기, 이를 실제 서비스로 연결하는 AI 인프라 소프트웨어를 결합한 ‘K-AI 인프라’ 생태계 확산에도 협력한다. 퓨리오사AI의 RNGD 하드웨어 및 소프트웨어와 오케스트로의 AI 인프라 기술을 기반으로 공공·금융·기업의 프라이빗 AI 및 소버린 AI 구축 수요를 공략하고, 기술 검증과 구축 경험을 축적해 국산 NPU 기반 AI 인프라의 적용 영역을 지속 확대할 방침이다.

백준호 퓨리오사AI 대표는 “AI가 실제 기업과 공공 환경에 확산되면서 AI 가속기의 성능과 전력 효율뿐 아니라, 다양한 AI 워크로드를 안정적으로 배포하고 운영할 수 있는 소프트웨어와 인프라 역량의 중요성이 더욱 커지고 있다”며 “오케스트로의 AI 인프라 소프트웨어 스택과 RNGD를 결합해 대규모 AI 데이터센터와 토큰 팩토리를 최적으로 운영할 수 있는 풀스택 솔루션을 구현하고, 공공·금융·기업 고객의 실제 서비스 환경에서 상용 구축을 지속 확대해 나가겠다”고 밝혔다.

김민준 오케스트로 그룹 의장은 “올해 초부터 퓨리오사AI와 긴밀한 기술 협력을 이어오며 NPU에서도 AI 모델을 손쉽게 배포·서빙하고 운영할 수 있는 기술 기반을 마련하고, GPU와 NPU를 아우르는 AI 추론 인프라로 CONCERTO A.I.의 기술 범위를 확장해 왔다”며 “이번 협약을 계기로 기술 검증을 고객 실증과 사업화로 연결하고, 양사의 기술 경쟁력을 결합해 공공·금융·기업 시장에서 새로운 AI 인프라 레퍼런스를 만들어 나가겠다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network