레드햇, 오픈시프트·RHEL AI 최신 업데이트 발표
레드햇은 하이브리드 클라우드 전반에서 AI 솔루션의 개발 및 배포를 가속화할 수 있도록 설계된 제품 포트폴리오인 ‘레드햇 AI’를 업데이트한다고 27일 발표했다.
레드햇 AI는 모델 학습 및 추론을 위한 엔터프라이즈 AI 플랫폼으로 향상된 효율성과 간소화된 사용자 경험, 하이브리드 클라우드 환경 어디서든 배포할 수 있는 유연성을 제공한다.
기업은 점차 다양해지는 활용 사례를 해결하기 위해 대규모 언어 모델(LLM)의 배포 비용을 절감하는 방법을 모색하고 있다. 여전히 이 같은 모델을 자사의 고유 데이터와 통합하는 동시에, 데이터 센터, 퍼블릭 클라우드, 엣지 등 데이터가 존재하는 모든 위치에서 데이터에 접근할 수 있어야 한다는 과제에 직면해 있다.
레드햇 오픈시프트 AI와 레드햇 엔터프라이즈 리눅스 AI(RHEL AI)를 포함하는 ‘레드햇 AI’는 사용자가 비즈니스별 데이터에 맞춰 보다 효율적이고 최적화된 모델을 채택하고 하이브리드 클라우드 전반에 배포해 광범위한 가속 컴퓨팅 아키텍처에서 학습 및 추론을 수행할 수 있는 엔터프라이즈 AI 플랫폼을 제공함으로써 이 같은 과제의 해결을 돕는다.
레드햇 오픈시프트 AI는 머신러닝 운영(MLOps)과 LLM 운영(LLMOps) 기능을 포함하며 하이브리드 클라우드 전반에서 예측 및 생성형 AI 수명 주기를 관리할 수 있는 종합 AI 플랫폼을 제공한다. 이 플랫폼은 데이터 과학 및 모델 파이프라인, 모델 모니터링, 거버넌스 등 AI 모델 관리를 간소화하는 도구와 예측 모델을 구축하고 생성형 AI 모델을 조정할 수 있는 기능을 제공한다.
플랫폼의 최신 버전인 레드햇 오픈시프트 AI 2.18은 하이브리드 클라우드에 더 최적화되고 효율적인 AI 모델을 제공하려는 레드햇 AI 목표를 지원하기 위해 신규 업데이트 및 기능을 추가했다.
vLLM 추론 서버를 통해 제공되는 분산 서빙(Distributed serving)을 통해 IT 팀은 여러 그래픽 처리 장치(GPU)에 걸쳐 모델 서빙을 분할할 수 있다. 이를 통해 단일 서버에 대한 부담을 줄이고 학습 및 미세 조정 속도를 높이며, 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있는 동시에 AI 모델에 대한 노드 간 서비스 분산도 지원한다.
인스트럭트랩(InstructLab)과 레드햇 오픈시프트AI의 데이터 사이언스 파이프라인을 활용해 LLM의 미세 조정을 간소화함으로써 대규모 프로덕션 환경에서 확장성과 효율성, 감사 가능성을 높이는 동시에 레드햇 오픈시프트 AI 대시보드를 통한 관리 편의성도 제공한다.
AI 가드레일의 기술 검토를 통해 사용자 입력 상호작용과 모델 출력을 모두 모니터링하고 더 잘 보호함으로써 LLM의 정확도, 성능, 지연 시간, 투명성을 개선한다. IT팀이 혐오, 욕설, 개인 식별 정보, 경쟁 정보, 또는 기업 정책에 의해 제한된 기타 데이터 식별하고 완화하는데 도움이 되는 탐지 기능도 제공한다.
언어 모델 평가(lm-eval) 구성 요소를 사용해 모델의 전반적 품질 정보를 제공받을 수 있다. 데이터 과학자는 논리적, 수학적 추론부터 적대적(adversarial) 자연어 처리까지 다양한 작업에서 LLM 성능을 벤치마킹해 보다 효과적이고 반응성이 뛰어난 맞춤형 AI 모델을 개발할 수 있다.
레드햇 AI 포트폴리오의 일부인 RHEL AI는 엔터프라이즈 애플리케이션 구동을 위한 LLM을 일관되게 개발, 테스트 및 실행할 수 있는 파운데이션 모델 플랫폼이다. 이는 사용자에게 부팅 가능한 레드햇 엔터프라이즈 리눅스 서버 이미지로 패키징됨으로 하이브리드 클라우드에 배포할 수 있는 그래니트(Granite) LLM 및 인스트럭트랩 모델 정렬 툴을 제공한다.
RHEL AI 1.4 버전은 그래니트 3.1 8B 모델을 지원하고, 기술 및 지식 제공을 위한 신규 GUI를 탑재했다. 문서 지식 벤치(DK-bench)를 통해 비공개 데이터로 미세조정된 AI 모델을 동일한 기본 모델의 성능과 쉽게 비교할 수 있다.
IBM 클라우드에 서비스 형태로 배포된 레드햇 AI 인스트럭트랩은 AI 모델의 학습 및 배포를 간소화하고 확장하며 보안 영역을 향상할 수 있도록 설계됐다. 기업은 인스트럭트랩 모델 조정을 간소화함으로써 자사의 고유한 요구사항에 최적화된 효율적인 모델을 구축하면서 데이터 통제권을 유지할 수 있다.
레드햇은 고객 대상으로 무상 온라인 AI 파운데이션 교육을 제공한다. 해당 교육은 AI가 비즈니스 운영에 유용한 정보를 제공하고 의사결정 간소화와 혁신을 추진하는데 어떻게 도움이 되는지, 레드햇 AI 솔루션에서 이를 활용하는 방법으로 구성됐다.
레드햇 오픈시프트 AI 2.18과 RHEL AI 1.4는 정식 버전으로 제공되고 있다. 레드햇 AI 인스트럭트랩 온 IBM 클라우드는 곧 제공될 예정이다
조 페르난데스 레드햇 AI 사업부 부사장 겸 총괄은 “레드햇은 기업이 더 많은 활용 사례를 프로덕션에 도입하고 대규모로 실행함에 따라 증가하는 생성형 AI 배포 비용을 관리할 수 있는 방법이 필요하다는 것을 알고 있다”며 “AI 모델을 자사의 고유 데이터에 통합하는 문제를 해결하고 데이터 위치에 무관하게 모델을 배포할 수 있어야 한다”고 설명했다.
그는 “레드햇 AI는 기업이 자사 데이터를 기반으로 보다 효율적이고 특수 목적 모델을 학습시켜 온프레미스, 클라우드, 엣지 환경 전반에서 유연한 추론을 지원한다”고 강조했다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
