[AWS 리인벤트] 세 시간 동안 쏟아낸 새 기술, 살펴봐야 할 네 가지 포인트

[아마존웹서비스(AWS)의 연례 클라우드 행사 ‘AWS 리인벤트 2024’가 현지시각 2일부터 6일까지 닷새간 미국 라스베이거스에서 열리고 있습니다. 현장의 이야기를 전달합니다.]

맷 가먼 AWS CEO(=사진)는 3일(현지시각) 열린 자신의 기조연설에서 무려 세 시간에 걸쳐 AWS 제품업데이트와 새로운 서비스를 소개했다. 베네시안 호텔 컨퍼런스홀을 가득 채운 개발자들은 숨을 죽이고 AWS의 변화를 경청했고, 일부 서비스에는 환호성을 보내기도 했다. AWS 솔루션의 업데이트는 클라우드 서비스를 쓰는 각 회사의 IT 인프라나 개발자 업무에 큰 영향을 주기 때문이다.

올해 리인벤트의 주요 기술 업데이트 중 자세히 짚어보면 좋을 것을 정리했다. 맷 가먼 CEO의 발표 내용과 AWS에서 배포한 보도자료, 그리고 현장에서 만난 김기완 AWS코리아 솔루션즈 아키텍트 총괄의 기술 설명을 종합했다.

AWS의 생성AI 전략을 알게 하는 ‘노바’

아마존이 자체 개발한 파운데이션 모델이다. 생성AI 시장에서 강력한 영향력을 갖고 있는 오픈AI의 GPT나, 메타의 라마(LLAMA)에 비견했다. 텍스트 중심부터, 동영상을 생성하는 제품까지 총 6종류나 선보였다. 이들 서비스는 한국어를 포함, 200개 언어를 지원한다.

아마존 노바는 총 여섯 가지 모델로 나왔다. 텍스트로 묻고 답하되, 속도를 빠르게 한 ‘아마존 노바는 지연이 적고 가격이 저렴한 가장 보급형 모델이다. 그 위부터는 기능이 조금씩 추가되는데, 예를 들어 아마존 노바 라이트는 텍스트와 이미지, 비디오 등의 멀티 모달을 지원하고 저렴한 대신에 정확성 측면에서는 이보다 한단계 위인 ‘아마존 노바 프로’가 낫다. 노바 프리미어는 이중 가장 강력한 멀티모달 모델인데, 내년 1분기 공개될 예정이다. 노바 캔버스는 이미지를, 노바 릴은 동영상을 생성한다. 기업 시장을 겨냥했고, AWS 베드록 위에서 돌아간다.

올해 키노트에서 가장 큰 발표였던 만큼, 노바와 관련해서는 별도의 기사가 작성되어 있다. <클로드 투자한 아마존, 자체 생성AI 모델 ‘노바’ 공개>에 더 자세한 내용을 담았다.

세이지메이커의 확장, 유니파이드 스튜디오와 레이크하우스

맷 가먼 CEO는 이날 차세대 세이지메이커인 ‘세이지메이커 유니파이드 스튜디오’와 ‘세이지메이커 레이크하우스’도 공개했다. 세이지메이커는 머신러닝을 활용해 생성 AI 서비스를 제작할 수 있게 한 솔루션이다. 생성AI는 파라미터 수가 많을 수록 정교한 작업이 가능해지지만 스타트업과 같은 작은 기업 입장에서는 이를 학습시키는 데 부담이 크므로, 관련한 솔루션을 클라우드로 제공해 시간과 노력, 비용을 줄여주겠다는 의도로 제작됐다.

그러나 AWS의 의도와는 별개로 기업 입장에서 세이지메이커를 쓰는 것에는 까다로움이 있었다. 생각보다 많은 툴을 써야 하기에 이용이 어렵다는 의견이 고객사들로부터 나왔다. 새 세이지메이커 제품들은 솔루션 이용의 복잡함을 줄였다는 데 의의가 있다. 먼저, 세이지메이커 유니파이드 스튜디오는 하나의 UI로 모든 데이터 소스를 관리할 수 있게 했다. 예컨대 데이터 분석부터, AI에 까지 이르는 데이터 흐름 전 과정을 스튜디오 안에서 관리할 수 있게 한 것이다.

“세이지메이커 유니파이드 스튜디오는 아마존 베드록(Amazon Bedrock), 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 “스튜디오(studio)”, 쿼리 에디터, 시각적 툴을 한데 모아 제공한다. 이를 통해 고객은 이러한 기능에 쉽게 액세스하여 데이터를 검색 및 준비하고, 쿼리(query) 또는 코드를 작성하고, 데이터를 처리하며, ML 모델을 구축할 수 있다.”

사용 편의성을 강조한 것은 세이지메이커 레이크하우스도 마찬가지다. 모든 데이터를 하나의 틀 안에다가 보관하게 하는 것인데, 여기에는 필요한 정보를 빠르게 찾게 하는 단서 메타 데이터도 포함되어 있다. 즉, 두 새 기술을 결합하면 조직 내에 있는 여러 직종의 사람들이 회사의 데이터를 쉽게 검색하고, 협업해 작업 플로우를 만들 수 있다는 게 강점이라고 AWS 측은 설명한다.

“세이지메이커 레이크하우스는 아마존 S3 데이터 레이크, 레드시프트 데이터 웨어하우스, 연합(federated) 데이터 소스에 저장된 데이터에 대한 통합 접근을 제공하여 데이터 사일로를 줄이고 데이터가 물리적으로 어떻게 어디에 저장되어 있든 쉽게 쿼리할 수 있도록 한다. 세이지메이커의 이 새로운 아파치 아이스버그 호환 레이크하우스 기능을 통해 고객은 세이지메이커 유니파이드 스튜디오 내에서, 그리고 아파치 아이스버그 오픈 표준과 호환되는 친숙한 AI 및 ML 도구와 쿼리 엔진으로 모든 데이터에 접근하고 작업할 수 있다.”

리인벤트 현장에서 만난 김기완 AWS코리아 솔루션즈 아키텍트 총괄은 세이지메이커의 변화를 두고 “고객이 데이터나 AI에 관해서 좀 더 쉽게 AWS 서비스를 사용할 수 있게 하는데 굉장히 중요한 마일스톤이라고 본다”고 평가했다.

새 비즈니스 전략 가져온 ‘큐(Q) 디벨로퍼’와 ‘Q 비즈니스’

Q 디벨로퍼와 비즈니스는 둘다 생성 AI 어시스턴트다. 업무 보조를 위한 AI인데 전자는 소프트웨어 개발을 지원하는데, 후자는 업무상 정보 검색이나 인사이트 도출, 조치 실행을 하는데 주로 쓴다는 차이가 있다. 둘 모두 기존 기능이 개선됐거나, 새로운 기능을 추가해 선보였다.

먼저 Q 디벨로퍼. 눈에 띄는 개선점은 테스트 생성이 간단해졌다는 점이다. 개발자의 노고를 줄이기 위해 “IDE에서 아마존 Q 디벨로퍼 채팅 창에 “/test”를 입력하거나 관련 코드 블록을 강조 표시하고 마우스 오른쪽 버튼을 클릭한 다음 “test”를 선택하기만 하면 되는” 식으로 작업의 간소화를 꾀했다. 그러면, 아마존 Q 디벨로퍼는 전체 프로젝트에 대한 지식을 활용하여 자율적으로 테스트를 식별하고 생성하여 프로젝트에 추가함으로써 개발자가 코드가 예상대로 작동하는 지 신속하게 확인할 수 있도록 돕는다. 이 외에 문서 생성과 유지, 문서 가독성 개선, 취약점 자동 확인과 코드 리뷰 간소화 등이 업데이트에 포함됐다.

하지만 이보다 더 큰 변화는 새로운 기능에 있다. 레거시 워크로드의 대규모 전환을 가속화 하는 방법이다. 맷 가먼 CEO는 “통상 메인프레임의 마이그레이션은 내용을 분석하고 계획하는 것 자체가 어려운 데다가 시간이 3~5년은 걸려 그냥 포기하는 경우가 많다. 그 일 자체에 압도되기 때문”이라고 말했는데, 그만큼 메인프레임의 현대화는 시간과 비용이 많이 드는 작업이다.

이번에 AWS가 선보인 것은 그 메인프레임의 현대화를 위한 기술이다. 맷 가먼 CEO는 새 기술로 기존에 수년은 걸리던 메인프레임의 마이그레이션을 수분기 내로 줄일 수 있게 됐다고 강조했다.

“아마존 Q는 이제 IBM z/OS 메인프레임을 시작으로 메인프레임 현대화 프로젝트에 포함된 코드 분석, 문서화, 계획 수립, 애플리케이션 리팩토링 등의 노동 집약적 작업을 간소화한다. 아마존 Q 에이전트는 COBOL 코드에 대한 문서를 자동으로 생성하고 모놀리식 애플리케이션을 AWS로 이전할 준비가 된 구성 요소로 신속하게 분해하는 등 다양한 현대화 작업을 지원할 수 있다.”

이 외에 ▲윈도우 닷넷(Windows .NET) 애플리케이션을 리눅스(Linux)를 통해 최대 4배 빠르게 현대화하고, 라이선스 비용 최대 40% 절감하는 것 ▲VM웨어(VMware) 워크로드를 클라우드 네이티브 아키텍처로 전환, 온프레미스 네트워크 구성 AWS 동등 항목으로 수 주가 아닌 수 시간 내에 변환하는 것 등도 새로 나온 기술에 포함됐다.

Q 비즈니스의 경우 ▲Q 비즈니스는 물론 아마존 Q 인 퀵사이트에서 더 나은 인사이트 제공 ▲앱 간 생성형 AI 경험 강화 ▲주요 비즈니스 애플리케이션 위한 50개 이상 액션 제공 ▲복잡한 워크플로우 자동화 지원 통해 직원 업무 생산성 향상 등의 새 기능을 제공한다.

새로운 칩, 트레이니엄3

그리고, 이런 모든 활동을 가능하게 하는 기반, AI 칩을 이번에 새로 발표했다. 차세대 AI 학습 칩인 ‘트레이니엄3’다. 3나노미터 공정 노드로 제작된 최초의 AWS 칩이다. AWS 측은 “성능, 전력 효율성, 밀도에 대한 새로운 기준을 제시할 것으로 예상한다”고 자신했다. 아직은 발표만 한 상태고 정식 출시는 2025년 말로 예정되어 있다.

“트레이니움3 기반 울트라서버는 Trn2 울트라서버 대비 4배 더 높은 성능을 제공할 것으로 예상되며, 이를 통해 고객은 모델 구축 시 더욱 빠르게 반복하고 배포 시 우수한 실시간 성능을 제공할 수 있다.”

아직 안 나온 새 칩보다 더 중요한 것은 AWS 트레이니움2(AWS Trainium2) 칩 기반의 아마존 EC2(Amazon EC2) 인스턴스다. 아울러, 거대언어모델(LLM)과 파운데이션 모델(FM)의 학습과 추론을 지원하는 트레이니움2 울트라서버(Trn2 UltraServers)도 이날 선보였다.

“아마존 EC2 Trn2 인스턴스(Amazon EC2 Trn2 Instances, 이하 Trn2 인스턴스)는 16개의 트레이니움2 칩을 탑재하여 최대8 페타플롭스(PF)의 연산 성능을 제공한다. 이는 수십억 개의 매개변수를 가진 LLM의 학습 및 배포에 적합하다. Trn2 인스턴스는 동일한 비용으로 기존 GPU 기반 EC2 P5e 및 P5en 인스턴스 대비 30~40% 더 나은 가격 대비 성능을 제공한다. 메모리 대역폭을 크게 개선해 비용 효율성을 높였다.”

“아마존 EC2 Trn2 울트라서버(Amazon EC2 Trn2 UltraServer, 이하 Trn2 울트라서버)는 완전히 새로운 EC2 제품군으로, 초고속 뉴런링크(NeuronLink) 기술을 사용해 64개의 트레이니움2 칩을 연결하여 최대2 피크 페타플롭스의 연산 성능을 제공한다. 이는 단일 Trn2 인스턴스 대비 연산, 메모리, 네트워킹 성능을 각각 4배로 확장해 세계 최대 규모의 모델 학습과 배포를 가능하게 한다.”

데이비드 브라운 AWS 컴퓨팅 및 네트워킹 부문 부사장은 “매개변수가 수조 개에 달하는 모델이 등장하면서, 고객들에게 대규모 모델을 효율적으로 학습하고 운영할 수 있는 새로운 접근 방식이 필요해졌다”면서 “Trn2 울트라서버는 AWS에서 가장 빠른 학습 및 추론 성능을 제공하며, 모든 규모의 조직이 세계 최대 모델을 더 빠르고 비용 효율적으로 학습하고 배포할 수 있도록 돕는다”고 설명했다.

이날 자리에선 브누아 뒤팽 애플 머신러닝 및 AI 수석 디렉터가 깜짝 등장해, 애플과 AWS 간 협업을 발표했다. 뒤팽 디렉터는 애플이 자체 AI ‘애플 인텔리전스’ 훈련에 AWS 트레이니엄2를 썼다는 사실을 처음 공개하기도 했다. 그는 “AWS와 긴밀하게 협업, 최신의 기술을 함께 활용하고 있다”고 말했다.

글. 바이라인네트워크
<라스베이거스(미국)=남혜현 기자, smilla@byline.network>