레드햇, ‘레드햇 AI 팩토리 위드 엔비디아’ 공개

레드햇은 엔비디아와 공동 개발한 소프트웨어 플랫폼 ‘레드햇 AI 팩토리 위드 엔비디아(Red Hat AI Factory with NVIDIA)’를 공개한다고 25일 발표했다.

이 플랫폼은 레드햇 AI 엔터프라이즈와 엔비디아 AI 엔터프라이즈를 결합한 엔드투엔드 AI 솔루션으로 대규모 AI 도입을 추진하는 기업 환경에 최적화됐다. 기업 고객에게 최신 AI 혁신 기술을 신속히 제공하는 동시에 엔비디아 하드웨어 아키텍처에 대한 0일 차(Day 0) 지원을 제공한다.

레드햇 AI 팩토리 위드 엔비디아는 프로덕션 AI의 도입을 가속화하고 추론 스택을 구동하는 모델과 엔비디아 GPU의 성능을 극대화하는 가속 컴퓨팅 인프라 기반의 AI 팩토리용 소프트웨어 플랫폼을 제공한다. 이 플랫폼은 시스코, 델 테크놀로지스,. 레노버, 슈퍼마이크로 등 주요 시스템 제조업체의 AI 팩토리 인프라에서 지원된다. 이를 통해 IT 관리자와 운영팀은 일반적인 기업 워크로드와 동일한 수준의 운영 엄격성과 예측 가능성을 바탕으로 AI 배포 환경을 확장하고 유지할 수 있다.

이 공동 개발 소프트웨어 플랫폼은 레드햇과 엔비디아의 오픈소스 협업 역량과 엔지니어링·기술 지원 전문성을 통합해 신뢰할 수 있는 엔터프라이즈급 솔루션을 제공하며 온프레미스, 클라우드, 엣지 등 어떤 환경에서도 AI를 배포할 수 있도록 고확장성 기반을 갖췄다. 레드햇 AI 팩토리 위드 엔비디아는 보안을 중점으로 고성능 AI 추론을 비롯해 모델 튜닝과 커스터마이징, 에이전트 배포 및 관리에 필요한 핵심 기능을 포함한다. 이를 통해 기업은 데이터센터부터 퍼블릭 클라우드까지 아키텍처 통제력을 유지한다.

이용자는 간소화된 워크플로우와 사전 구성된 모델에 대한 즉각적인 접근을 통해 프로덕션 AI로 빠르게 전환할 수 있다. 여기에는 면책 조항이 적용된 IBM 그래니트 제품군, 엔비디아 네모트론, 엔비디아 코스모스 오픈 모델이 포함되며, 이는 엔비디아 NIM 마이크로서비스 형태로 제공된다. 또한 엔비디아 네모를 활용해 기업 데이터에 맞게 모델을 맞춤화하여 튜닝 시간과 비용을 절감할 수 있다.

통합된 고성능 서빙 스택을 통해 인프라 활용도를 극대화하고 추론 성능을 향상한다. 레드햇 AI 팩토리 위드 엔비디아는 내장형 관측 기능을 제공하며, vLLM 기반 레드햇 AI 추론 기능과 엔비디아 텐서RT-LLM, 엔비디아 다이나모를 활용해 엄격한 AI 서비스 수준 목표(SLO)를 충족한다. 이를 통해 기업은 모델과 엔비디아 GPU 간 연결을 최적화하여 AI 총소유비용(TCO)을 절감할 수 있다.

또한, 지능형 오케스트레이션과 풀링된 인프라를 통해 GPU 리소스에 대한 온디맨드 접근을 지원한다. 또한 자동 체크포인팅 기능을 통해 장시간 실행되는 작업을 보호하고, 동적 환경에서도 예측 가능한 컴퓨팅 비용을 유지한다. 레드햇 엔터프라이즈 리눅스의 유연하고 안정적인 기반을 활용해 기업은 초기 단계부터 내장된 고급 보안과 컴플라이언스 기능을 통해 리스크를 낮추고 시간을 절약하며 운영 중단 시간을 최소화할 수 있다. 이는 격리와 지속적인 검증이 필요한 미션 크리티컬 AI 워크로드를 위한 강화된 보안 기반을 제공한다. 이 기반 위에서 엔비디아 도카(DOCA) 마이크로서비스는 제로 트러스트 아키텍처를 구현하고 인프라 전반에 걸쳐 AI 런타임 보안을 지원한다.

크리스 라이트 레드햇 글로벌 엔지니어링 부문 수석 부사장 겸 최고기술책임자는 “AI 실험 단계에서 산업적 규모의 전사적 프로덕션 단계로 전환하려면 AI 컴퓨팅 스택 관리 방식의 근본적인 변화가 필요하다”며 “레드햇은 검증된 하이브리드 클라우드 솔루션으로 구축된 안정적이고 고성능의 기반 위에서 고객이 핵심 IT 플랫폼과 동일한 수준의 운영 엄격성을 적용해 AI 전략을 주도하고 확장할 수 있도록 지원한다”고 밝혔다.

저스틴 보이타노 엔비디아 엔터프라이즈 AI 플랫폼 부문 부사장은 “기업들은 추론 과정에서 데이터를 대규모 인텔리전스로 전환하는 AI 팩토리를 구축하고 있으며, 이를 위해 하이브리드 클라우드 전반을 아우르는 프로덕션급 인프라와 소프트웨어가 필요하다”며 “레드햇 AI 팩토리 위드 엔비디아는 기업이 급변하는 인프라 혁신에 발맞추면서 차세대 에이전틱 AI 애플리케이션을 안정적으로 구축하고 배포할 수 있도록 지원하는 소프트웨어 기반을 제공한다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network