“소버린 AI의 핵심은 오픈소스, 레드햇이 효율적 AI 지원”
레드햇이 한국의 소버린 AI 바람에 오픈소스 기술과 AI 플랫폼으로 올라타려 하고 있다. 실제 AI 활용을 효율적으로 할 수 있는 오픈소스 기반 AI 플랫폼을 내세워서다.
빈센트 칼데이라 레드햇 APAC 최고기술책임자(CTO)는 지난 28일 한국레드햇이 서울 파르나스에서 개최한 ‘레드햇 서밋: 커넥트2025’ 기자간담회에서 “AI가 더 이상 단순한 기술적 진보가 아니라 통제와 신뢰가 AI의 전략적 현실을 재정의하는 핵심 요소가 됐다”며 “소버린 AI를 실현하는 핵심 기술은 오픈소스”라고 밝혔다.
오픈소스는 보안과 신뢰 측면에서 코드를 검사하고 AI에 대한 최고 수준의 보안 및 규제 표준을 충족하는 데 필요한 깊은 투명성과 감사 가능성을 제공한다. 하이브리드 클라우드 컨트롤을 통해 단일 독점 스택에 종속되지 않고 어디서나 AI 워크로드를 실행할 수 있는 유연성으로 벤더 종속으로부터의 자유를 보장한다. 로컬 운영 및 생태계에서는 혁신을 위한 활발한 글로벌 커뮤니티를 육성하고 로컬 역량을 구축할 수 있는 신속한 발전과 광범위한 인재 풀에 대한 접근을 제공한다.
그는 소버린 AI의 4가지 기둥으로 데이터 주권, 보안 및 신뢰, 하이브리드 클라우드 컨트롤, 지역 운영 및 생태계 등을 꼽았다. 그는 “AI 주권은 외부의 지정학적 또는 기업의 압력에 관계없이 AI의 운명을 개발하고 통제할 수 있는 역량으로, AI가 기업의 규칙과 가치에 부합하도록 보장한다”며 데이터 주권, 보안 및 신뢰, 하이브리드 클라우드 컨트롤, 지역 운영 및 생태계 등을 통해 규정 준수와 경쟁 우위를 확보할 수 있다”고 밝혔다.
그는 “레드햇의 역할은 기업과 정부가 자체 소버린 클라우드를 구축하고 운영할 수 있는 오픈 하이브리드 클라우드 기반을 제공해 AI 워크로드에 대한 통제권을 제공하는 것”이라며 “이는 소버린 AI를 위한 오픈소스의 원칙과 부합해 기업과 정부가 책임감 있고 전략적으로 디지털 미래를 소유할 수 있도록 지원한다”고 말했다.
그는 전세계적인 AI 채택에서 나타나는 패러독스 문제를 지적했다. 엔터프라이즈 기업이 생성형 AI를 도입하는 속도가 책임있는 AI의 성숙도를 압도하면서 리스크를 심각하게 늘리고 있다는 것이다. GPT 같은 상용 AI 모델은 블랙박스로 AI 생성 결과를 설명하기 어렵게 하고 있고, 생성형 AI의 무분별한 사용이 민감한 정보의 오용과 유출의 우려를 심화시키고 있다. AI의 비윤리적 행위에 대한 통제도 문제로 떠오르고 있고, 생성적 AI의 급속한 도입은 AI 공급망에서 글로벌 표준의 발전을 앞지르며 일관된 거버넌스 및 규정 준수에 어려움을 야기하고 있다.
그는 AI 시스템 안전성과 신뢰 구축을 위해 칼데이라는 투명성, 보안 및 공급망, 평가와 위험이라는 구조화된 접근 방식을 제시했다. 레드햇은 투명성 확보를 위해 LF AI & Data가 개발한 모델 개방성 프레임워크(MOF)를 채택해 AI 모델의 진정한 투명성을 보장하고 있고, 보안 및 공급망 부문에서는 AI 모델을 표준화된 오픈컨테이너이니셔티브(OCI) 아티팩트로 패키징하고, AI 자재 명세서(AI BOM)와 암호화 서명을 통해 무결성을 보장한다. 평가와 위험 관리에서는 TrustyAI 같은 오픈 프레임워크를 통해 지속적인 모니터링과 편향 감지, 런타임 가드레일을 구현하고 있다.
그는 AI 인프라 컴퓨팅 위기도 중요한 과제로 지적했다. AI 인프라 시장이 2031년까지 10배 이상 성장할 것으로 예상되지만, 데이터센터 전력 수요가 2030년까지 거의 3배 증가해 에너지 병목 현상이 발생하고 있다고 설명했다.
그는 “기업의 52%가 추론을 위한 비용 효율적인 대안을 모색하고 있다”며 “이를 해결하기 위해 레드햇은 vLLM, 쿠버네티스, llm-d를 통한 클라우드 네이티브 혁신을 제공하고 있다”고 강조했다.
“vLLM은 트랜스포머 구조나 언어 모델 단계에서 페이지 어텐션, 지속적 배치 등으로 LLM 서빙을 최적화한다”며 “클라우드 네이티브 오케스트레이션은 게이트웨이 API 인퍼런스 익스텐션이란 표준을 통해 게이트웨이 단에서의 최적화를 수행한다”고 말했다.
그는 “쿠버네티스의 로드밸런싱은 LLM이나 AI 워크로드에서 완전히 다른 양상을 보이게 되는데, 클라우드 네이티브 오케스트레이션은 LLM의 데이터 캐시 위치나 유사 작업의 위치, 가까운 경로 등을 인지하는 AI 인지적 로드밸런싱을 해야 한다”며 “이를 통해 동적 오케스트레이션을 구현하고, 쿠버네티스 클러스터 단의 SLO를 달성할 수 있다”고 덧붙였다.
vLLM은 페이지드어텐션(PagedAttention)과 연속 배칭을 통해 GPU 메모리 사용을 최적화하고 처리량을 최대 24배까지 향상시킨다.
llm-d는 쿠버네티스 네이티브 분산 추론 프레임워크로 AI 인식 라우팅과 동적 오토스케일링을 구현해 GPU 활용도를 극대화한다.
그는 “llm-d를 통한 쿠버네티스의 분산형 인퍼런스는 모델의 GPU 활용 특성을 파악해 지능적으로 라우팅을 하게 해준다”며 “추론을 분산시켜 빠르게 응답하게 하는 데, 그 근간은 캐싱이며, 반복적인 모델의 프로세스를 캐시했다가 해당 요청을 캐시로 보냄으로써 모델의 엔드포인트 추론을 분산시켜 더 빠르고 정확한 답을 얻게 하는 것”이라고 설명했다.
마지막으로 칼데이라는 이러한 모든 요소가 레드햇 AI 플랫폼에 통합되어 있다고 소개했다. 레드햇 AI 3.0은 빠르고 유연하며 확장 가능한 추론, 에이전틱 AI 혁신 가속화, 모델과 데이터 연결, 하이브리드 클라우드 전반의 AI 확장 등 4가지 주요 영역에서 새로운 기능을 제공한다.
유연하고 효율적인 추론 부문에서는 llm-d의 분산 추론 기능이 정식 버전(GA)으로 출시됐으며, 새롭게 검증되고 최적화된 모델들과 vLLM 개선 사항을 포함한다. 에이전틱 AI 혁신에서 AI 경험 허브, 생성형 AI 스튜디오, 모델 컨텍스트 프로토콜(MCP) 지원, 라마 스택(Llama Stack) API 통합 등을 제공한다. 모델과 데이터 연결 부문에서는 문서 처리 툴킷인 도클링(Docling) 기반의 데이터 처리, 합성 데이터 생성, 훈련 허브, 평가 기능을 모듈화하여 제공한다. AI 플랫폼 부문에서는 모델 카탈로그와 레지스트리, MaaS 제공자 개선, GPUaaS 개선, 데이터 드리프트 감지 기능 등이 추가됐다.
그는 “레드햇 AI 3는 엔터프라이즈급 유연성과 보안성, 역량을 제공하면서 전체 AI 수명주기의 접근과 관리를 제공한다”며 “데이터 모델을 연결하는 것부터, 모델 기반으로 새로운 에이전틱 AI를 개발하는 것, 그 개발품을 전체 워크로드로 확산하는 것까지 모두 포괄한다”고 밝혔다.
그는 “레드햇은 고객에게 근본적으로 완전히 새로운 플랫폼과 역량을 익히라고 하지 않는다”며 “기존과 똑같은 접근법을 채택했으며, 컨테이너 관리와 데브옵스에서 활용하던 오픈시프트의 역량을 AI로 확장해 재사용할 수 있다”고 강조했다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
