“데이터만 있으면 AI 구축 가능” 엔비디아, 엔터프라이즈용 AI 구축 서비스 AI 파운드리 공개
엔비디아가 메타의 AI 모델 라마 3.1을 활용해 기업 맞춤형 AI 파운드리를 출시한다고 발표했다. 기존에도 MS 애저용 AI 파운드리가 있었으나, 기존보다 메타-엔비디아 파운데이션 모델 간 더 높온 통합을 이룬 것이 특징이다.
엔비디아 AI 파운드리는 기업이나 국가가 기존 데이터만 갖고 있으면 쉽게 LLM과 추론(NIM) 애플리케이션을 만들 수 있는 것이 특징이다.
기업용 생성형 AI에는 모델, 데이터, 컴퓨팅 성능, 툴링(Tooling) 네가지가 요구된다. 이중 엔비디아는 모델, 컴퓨팅 성능, 툴링 세가지를 제공하며, 기업과 국가는 자신이 가진 데이터만으로 커스터마이징된 생성형 AI를 만들 수 있다.
워크플로우는 기업의 데이터로부터 출발한다. 엔터프라이즈 데이터는 라마 3.1 405B 모델을 통해 생성형 AI를 위한 합성 데이터(Synthetic Data)로 변모하게 된다. 다른 한편에서는 엔비디아 니모 큐레이터(NeMo Curator)를 통해 데이터를 정제(분류, 필터, 중복 제거)한다. 이렇게 생성된 튜닝 데이터 세트는 니모 커스터마이저((NeMo Customizer)를 통해 자사 서비스에 맞게 도메인 적응형 사전 학습을 수행한다. 엔터프라이즈용 파운데이션 모델은 이 시점에서 완성되며, LLM, 생물학, 비전, 스피치 등의 모델이 된다. 해당 모델은 배포를 위해 니모 이밸류에이터(NeMo Evaluator)애서 AB테스트나 QA를 하게 된다. 해당 테스트에서 나온 답이 좋고 나쁜지, 편향성을 가지지는 않는지 니모 가이드레일(NeMo Guardrais)에서 정할 수 있다.
이렇게 생성된 모델은 기업에서 자체 배포하는 것이 아니라 엔비디아 추론 마이크로서비스인 엔비디아 님(NIMs)를 통해 쉽게 실행 및 배포할 수 있다.
현재 프로덕션 AI용 라마 3.1 모델의 엔터프라이즈 배포를 강화하기 위해, ai.nvidia.com에서 라마 3.1 모델용 엔비디아 NIM 추론 마이크로서비스를 다운로드할 수 있다. NIM 마이크로서비스는 프로덕션 환경에서 라마 3.1 모델을 배포하는 가장 빠른 방법이며, NIM 없이 추론을 실행하는 것보다 최대 2.5배 더 높은 처리량을 제공한다. 기업은 라마 3.1 NIM 마이크로서비스를 새로운 엔비디아 니모 리트리버(NeMo Retriever) NIM 마이크로서비스와 결합해 AI 코파일럿, 어시스턴트, 디지털 휴먼 아바타를 위한 최첨단 검색 파이프라인을 구축할 수 있다.
엔비디아 님(NIM)은 엔비디아 텐서 RT 및 텐서 RT LLM에 최적화된 컨테이너로, 클라우드 네이티브 스택으로 실행된다. 프롬프트와 응답을 보내는 데 익숙한 개발자를 위해 표준 API를 제공하며, DevOps 컨테이너가 실행 상태인지, 정상적으로 작동하는지 등을 확인할 수 있는 API도 제공한다.
엔비디아 AI 파운드리의 주요 내용
- 맞춤형 ‘슈퍼모델’ 구축: 이제 기업과 국가가 자체 데이터를 활용해 고유한 AI 모델을 만들 수 있게 됐다.
- 다양한 서비스 제공: 데이터 큐레이션, 합성 데이터 생성, 미세 조정, 검색, 평가 등을 포함한 포괄적인 서비스를 제공한다.
- 빠른 응답을 위한 새로운 서비스: 정확한 AI 응답을 위해 엔비디아 니모 리트리버 마이크로서비스를 도입했다.
- 다양한 업계 도입: 엑센츄어, 아람코, AT&T, 우버 등 여러 기업이 이 기술을 사용하고 있다.
엔비디아 AI 파운드리의 특징
엔비디아 AI 파운드리는 세계 최고의 퍼블릭 클라우드와 공동 설계된 엔비디아 DGX 클라우드 AI 플랫폼을 기반으로 운영된다. 이를 통해 AI 수요 변화에 따라 쉽게 확장할 수 있는 방대한 컴퓨팅 리소스를 제공한다.
라마 3.1과의 협업
엔비디아와 메타는 오픈소스 AI 모델인 라마 3.1을 통해 기업이 맞춤형 AI 모델을 쉽게 만들고 배포할 수 있도록 지원한다. 이를 통해 기업은 AI 어시스턴트, 디지털 휴먼 아바타 등 다양한 AI 애플리케이션을 구축할 수 있다.
주요 파트너 및 사용 사례
- 액센츄어: 자체 사용은 물론, 고객을 위한 맞춤형 AI 애플리케이션을 개발하고 있다.
- 다양한 업계: 의료, 에너지, 금융 서비스, 소매, 운송, 통신 분야의 기업들이 이미 이 기술을 도입했다.
새로운 서비스 및 지원
엔비디아는 라마 3.1 모델을 빠르게 배포할 수 있는 NIM 마이크로서비스를 제공하며, 이를 통해 AI 응답의 정확도와 성능을 향상시킬 수 있다. 또한, 엔비디아 AI 엔터프라이즈를 통해 기업들은 맞춤형 AI 모델을 쉽게 개발하고 배포할 수 있다.
이번 발표를 통해 엔비디아는 전 세계 기업들이 고유한 AI 솔루션을 더욱 쉽게 구축하고 활용할 수 있도록 돕고 있다.
글. 바이라인네트워크
<이종철 기자> jude@byline.network