아마존 세이지메이커, 기업용 AI 통합 허브로

아마존웹서비스(AWS)는 6일 열린 ‘AWS 리인벤트’에서 빠른 SQL 분석, 페타바이트 규모 데이터 처리, 데이터 탐색 및 통합, 모델 개발 및 학습, 생성형 AI 기능을 하나의 통합 플랫폼으로 결합한 차세대 아마존 세이지메이커를 발표했다.

아마존 세이지메이커는 그동안 머신러닝(ML), 딥러닝 등 고전적 인공지능(AI) 기술을 빠르게 개발, 배포, 운영할 수 있는 서비스였다. 트랜스포머 기반의 대형언어모델(LLM) 트렌드 속에서 ‘아마존 베드록’ 출시 후 아마존 세이지메이커는 머신러닝과 생성형 AI 맞춤 개발 용도로 포지션됐다. ‘급하면 아마존 베드록, 직접 개발하고 싶으면 아마존 세이지메이커’ 식의 제안이었다. 처음 아마존 베드록 공개 당시 많은 고객이 아마존 세이지메이커 점프스타트와 베드록의 차이를 혼란스러워했었다.

AWS는 올해 아마존 세이지메이커에 다양한 생성형 AI 개발 시나리오를 지원하는 기능을 통합해 이전의 AI 개발 플랫폼 위상을 회복시키려 시도한다. 차세대 세이지메이커는 사용자 조직의 모든 데이터로 가는 경로를 가지며, 조직 내 모든 데이터 및 AI 이니셔티브를 관리할 수 있는 통합 스튜디오를 제공한다.

새로운 세이지메이커 유니파이드 스튜디오는 조직 전반의 데이터를 쉽게 찾고 접근할 수 있게 한다. 목적에 따라 구축된 AWS 분석, 머신러닝(ML) 및 AI 기능을 통합해 모든 유형의 일반적인 데이터 사용 사례에서 최적의 도구를 사용해 데이터를 활용하게 한다. 아마존 Q 디벨로퍼 지원을 받을 수 있다.

세이지메이커 유니파이드 스튜디오는 아마존 베드록, 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 ‘스튜디오’, 쿼리 에디터, 시각적 툴 등을 한데 모았다.

세이지메이커 유니파이드 스튜디오의 아마존 베드록 통합 개발 환경(IDE)을 통해 사용자는 에이전트, 가드레일, 지식 기반, 플로우 등 아마존 베드록의 고성능 기반 모델과 도구를 사용해 빠르고 쉽게 생성형 AI 애플리케이션을 구축하고 배포할 수 있다. 데이터 검색, 공유, 거버넌스 기능을 기본 제공해 모든 기업내 AI 수요자의 공통 도구로 활용가능하다.

세이지메이커 카탈로그와 내장된 거버넌스 기능을 통해 적절한 사용자가 올바른 목적으로 적절한 데이터와 모델, 개발 자료에 접근할 수 있다.

세이지메이커 레이크하우스는 데이터 레이크, 데이터 웨어하우스, 운영 데이터베이스, 기업용 애플리케이션 전반의 데이터를 통합해 세이지메이커 유니파이드 스튜디오 내에서 데이터에 쉽게 접근하고 작업할 수 있다. 친숙한 AI와 ML 도구 또는 아파치 아이스버그와 호환되는 쿼리 엔진을 사용할 수 있다.

세이지메이커 레이크하우스는 아마존 S3 데이터 레이크, 레드시프트 데이터 웨어하우스 등에 흩어진 데이터 소스에 통합 접근을 제공한다. 데이터의 물리적 위치에 상관없이 쉽게 쿼리할 수 있다. 선호하는 분석 및 ML 도구를 데이터에 사용해 SQL 분석, 임시 쿼리, 데이터 과학, ML, 생성형 AI를 포함한 사용 사례를 지원할 수 있다.

AWS는 지난 2년 간 데이터 이동의 부담을 없애는 제로ETL을 강조해왔다. 아마존 오로라 마이SQL과 포스트그레SQL, 아마존 RDS 포 마이SQL, 아마존 다이나모DB, 아마존 레드시프트 등이 제로ETL로 통합됐다. SaaS 애플리케이션과 새로운 제로ETL 통합 기능은 분석과 AI 연동을 위해 세이지메이커 레이크하우스와 레드시프트에서 젠데스크, SAP 같은 애플리케이션의 데이터를 바로 활용할 수 있게 한다.

차세대 세이지메이커는 바로 사용할 수 있다. 세이지메이커 유니파이드 스튜디오는 미리보기로 제공되며, 빠른 시일 내에 정식 출시될 예정이다.

AWS는 이와 함께 아마존 세이지메이커 AI의 혁신도 선보였다. 공개적으로 사용 가능한 주요 모델을 더 빠르게 시작하고, 학습 효율성을 극대화하며, 비용을 절감하고, 선호하는 도구를 사용해 생성형 AI 모델 개발을 가속화할 수 있게 된다는게 회사측 설명이다.

아마존 세이지메이커 하이퍼팟(HyperPod)은 3가지 새 기능을 추가했다. 이를 통해 공개 모델의 학습을 빠르게 시작하고, 유연한 훈련 계획으로 몇 주의 모델 훈련 시간을 절약할 수 있으며, 컴퓨팅 자원 활용을 최대화할 수 있다.

생성형 AI 모델 학습을 위한 선택적 인프라로 설명되는 세이지메이커 하이퍼팟(HyperPod)은 모델 구축, 학습, 배포 과정에 필요한 데이터 접근, 대규모 클러스트 운영 등을 간소화한다. 수천 개의 AI 가속기에 걸쳐 생성형 AI 모델 개발을 효율적으로 확장하여 파운데이션 모델(FM) 학습 시간을 최대 40%까지 단축할 수 있다. 세이지메이커 하이퍼팟은 이번에 공개된 ‘아마존 노바’ 모델 학습에 활용됐다.

세이지메이커 하이퍼팟은 이제 새로운 레시피로 더 빠르게 AI 모델을 최적화 할 수 있다. 다양한 알고리즘 실험, 세밀한 파라미터 조정, 학습 영향 관찰, 문제 디버깅, 성능 벤치마킹 등의 작업을 몇분 안에 시작할 수 있다. 라마 3.2 90B, 라마 3.1 405B, 미스트랄 8x22B 등의 모델을 위한 30개 이상의 모델 학습 레시피를 제공한다.

고객은 세이지메이커 깃허브 리포지토리를 통해 사용 가능한 학습 레시피를 찾아보고, 자신의 커스터마이징 요구사항에 맞게 파라미터를 조정하여 몇 분 안에 배포할 수 있다. 간단한 한 줄 편집으로 GPU 기반 인스턴스와 트레이니움 기반 인스턴스 사이를 원활하게 전환하여 가격 대비 성능을 더욱 최적화할 수 있다.

AWS는 세이지메이커 하이퍼팟을 위한 유연한 훈련 계획을 출시했다. 고객은 몇 번의 클릭만으로 예산과 원하는 완료 날짜, 필요한 최대 컴퓨팅 리소스 양을 지정할 수 있다. 세이지메이커 하이퍼팟은 자동으로 용량을 예약하고, 클러스터를 설정하며, 모델 학습 작업을 생성해 팀의 모델 학습 시간을 수 주나 절약한다. 제안된 훈련 계획이 지정된 시간과 예산 또는 컴퓨팅 요구사항을 충족하지 못하는 경우, 세이지메이커 하이퍼팟은 날짜 범위 연장, 더 많은 컴퓨트 추가, 또는 다른 AWS 리전에서 학습 수행 등의 대안을 차선책으로 제안한다.

세이지메이커 하이퍼팟은 작업 거버넌스로 가속기 활용을 극대화한다. 비용효율적으로 GPU를 생성형 AI 학습에 활용하도록 지원하는 기능이다. 세이지메이커 하이퍼팟 작업 거버넌스를 통해 고객은 모델 학습, 미세조정 및 추론을 위한 가속기 활용을 최대화해 모델 개발 비용을 최대 40%까지 절감할 수 있다. 몇 번의 클릭만으로 고객은 서로 다른 작업에 대한 우선순위를 쉽게 정의하고 각 팀이나 프로젝트가 사용할 수 있는 컴퓨팅 리소스 한도를 설정할 수 있다.

AWS는 고객이 전문화된 AI 앱의 성능과 아마존 세이지메이커의 관리형 기능 및 보안을 더욱 쉽게 결합할 수 있도록 지원한다. 이 기능은 코멧, 딥첵스, 피들러, 라케라 가드 등 선도적인 파트너사의 우수한 생성형 AI 및 ML 개발 애플리케이션을 세이지메이커 내에서 직접 검색, 배포 및 사용할 수 있도록 함으로써 고객의 번거로운 작업과 복잡성을 제거한다.

세이지메이커는 생성형 AI 및 ML 개발 작업을 위한 완전 관리형 및 안전한 파트너 애플리케이션의 엄선된 세트를 제공한다. 고객에게 모델 구축, 학습 및 배포 시 더욱 큰 유연성과 제어력을 제공하는 동시에 AI 앱 온보딩 시간을 몇 달에서 몇 주로 단축한다. 각 파트너 앱은 세이지메이커에 의해 완전히 관리되므로 고객은 애플리케이션 설정이나 충분한 용량을 보장하기 위한 지속적인 모니터링을 걱정할 필요가 없다. 이러한 애플리케이션을 세이지메이커 내에서 직접 접근할 수 있게 함으로써 고객은 더 이상 데이터를 자신의 보안 AWS 환경 밖으로 이동할 필요가 없으며 인터페이스 간 전환에 소요되는 시간을 줄일 수 있다.

아마존 세이지메이커 AI의 새 기능은 정식 출시됐다.

스와미 시바수브라마니안 AWS 데이터 및 AI 부문 부사장은 “차세대 세이지메이커는 몇 가지 흥미로운 새 기능을 함께 통합해 고객이 세이지메이커 내에서 데이터 처리, SQL 분석, ML 모델 개발 및 학습, 생성형 AI에 필요한 모든 도구를 직접 사용할 수 있도록 한다”고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network