AI로 가득찬 ‘AWS 리인벤트 2024’ 총정리

전세계 최대 규모 IT 컨퍼런스인 아마존웹서비스(AWS)의 ‘AWS 리인벤트’가 올해도 떠들썩하게 미국 라스베이거스에서 개최됐다. 리인벤트 사상 최대 규모로 열린 행사였고, 수많은 기능과 서비스를 새로 선보였다. 생성형 인공지능(AI) 흐름에서 뒤처진다는 평가를 받아온 AWS는 올해 행사에서 전력을 다해 후발주자의 추격 성과를 자랑했다.

올해 AWS 리인벤트에서 발표된 내용 중 주목할 만한 부분을 정리했다.

자체 멀티모달 AI 모델 ‘노바’

올해 리인벤트의 가장 큰 소식은 드디어 발표된 AWS의 자체 파운데이션모델 ‘노바(Nova)’다. 자세한 내용은 <클로드 투자한 아마존, 자체 생성AI 모델 ‘노바’ 공개>에 담았다.

사실 많은 청중이 작년 리인벤트에서 AWS의 자체 파운데이션 모델 공개를 기대했었다. 오픈AI가 2022년 11월말 챗GPT로 전세계 IT 이슈를 독식하기 시작하던 순간 ‘AWS 리인벤트 2022’에서 AWS는 생성형 AI를 단 한마디도 꺼내지 않았다.

그전까지 AWS의 소소한 행보에도 열광하던 청중이 그 시선을 오픈AI와 마이크로소프트, 구글 등으로 완전히 돌렸고, AWS는 시야에서 사라졌다. 2023년 3월 타이탄이란 AI 모델을 선보였지만, 그리 큰 반향을 일으키진 못했고, AWS 리인벤트 2023 행사에서도 파운데이션 모델 발표는 없었다. 대신 생성형 AI 애플리케이션을 빠르게 개발할 수 있는 ‘아마존 베드록’을 강조하면서 ‘독점 모델보다 고객의 LLM 선택권 우선’이란 메시지를 던졌다.

선택권을 제공한다는 AWS의 외침에도 불구하고, AI 플랫폼 시장은 주류 LLM과 대형 클라우드 사업자의 짝짓기로 흘렀다. 오픈AI와 마이크로소프트의 협력에 구글은 자회사 딥마인드의 역량을 총동원해 ‘제미나이’로 경쟁력을 회복했다. 이에 AWS도 앤트로픽 투자에 40억달러를 투자하면서 은근슬쩍 앤트로픽의 ‘클로드’의 1순위 플랫폼이라고 말하기 시작했다. 그리고 지난주 앤트로픽에 40억달러를 추가 투자해 총 80억달러를 투자했다고 발표했다.

이런 가운데 선보인 아마존 노바는 텍스트뿐 아니라 이미지, 동영상 등도 처리하는 멀티모달 언어모델로 등장했다. 노바 발표에 아마존 최고경영자(CEO)로 영전한 앤디 제시 전 AWS CEO가 직접 나섰다.

노바는 6가지 모델로 나왔다. 자연어 텍스트로 질문하고 답하는 보급형 모델로 메타 라마 3.1 8B나 구글 제미나이 1.5 플래시-8B와 비교되는 ‘노바 마이크로’, 텍스트와 이미지, 비디오 등의 멀티모달을 지원하고 GPT-4o 미니와 비교되는 ‘노바 라이트’, GPT-4o와 비교되는 ‘노바 프로’, 최고사양으로 알려져 이름만 공개된 ‘노바 프리미어’, 이미지 생성 모델인 ‘노바 캔버스’, 동영상 생성 모델인 ‘노바 릴’ 등이다.

AWS는 아마존 노바의 성능을 현존하는 인기 파운데이션 모델을 능가한다고 강조했다. 오픈AI GPT 시리즈, 구글 제미나이, 앤트로픽 클로드, 메타 라마 등과 벤치마크 대결에서 우위를 보인 결과도 제시했다. 또, AWS의 아마존 베드록에서만 쓸 수 있는 독점 모델로 삼았다.

앤디 제시까지 동원해 공개한 노바는 AWS에게 큰 발표였겠지만, 전반적으로 큰 반향을 일으키진 못했다. AI 분야 종사자들은 여러 모델 중 또 하나의 파운데이션모델 선택지가 나온 것으로 받아들이는 모습이다.

오픈AI, 구글, 엔트로픽 등만 해도 앞서거니 뒤서거니 하면서 경쟁 모델의 성능을 뛰어넘어왔다. 현 시점에서 AWS 노바가 가장 앞선 성능을 낸다고 하지만, 그게 영원히 최고의 선택은 아니다.

아마존 베드록이 다양한 모델을 선택적으로 그때그때 교체할 수 있게 하므로, 성능과 비용 요건에 따라 노바든 클로드든, 라마든 고르면 된다.

앞으로 주목할 부분은 AWS가 노바를 얼마나 자주 업그레이드하는 모습을 보일 것이냐다. 오픈AI, 구글, 앤트로픽, 메타, 스테이블디퓨전, 미드저니 등이 수시로 모델의 개선사항을 내놓듯 AWS의 노바도 빠르고 꾸준하게 업데이트를 내놔야 파운데이션 모델로서 경쟁력을 평가받을 수 있을 것이다. 반짝 나오고 별 업그레이드가 없는 타이탄처럼 유지된다면 도태되고 말 것이니 말이다.

아마존 세이지메이커, 기업의 LLM 개발 허브로 진화

AWS는 노바 발표와 더불어 기업의 생성형 AI 개발을 지원하는 본연의 역할을 강조하는데도 많은 공을 들였다. 이번에 발표된 차세대 아마존 세이지메이커가 그것이다. 자세한 내용은 <아마존 세이지메이커, 기업용 AI 통합 허브로>를 참고하자.

아마존 세이지메이커는 그동안 머신러닝(ML), 딥러닝 등 고전적 인공지능(AI) 기술을 개발, 배포, 운영할 수 있는 서비스였다. 트랜스포머 기반의 대형언어모델(LLM) 트렌드 속에서 ‘아마존 베드록’의 등장 후 구식 이미지를 쓰게 됐는데, 차세대란 이름과 함께 기업의 AI 통합 허브로 변모했다.

AWS는 아마존 세이지메이커에 다양한 생성형 AI 개발 시나리오를 지원하는 기능을 통합시킴으로써 이전의 AI 개발 플랫폼 위상을 회복시키려 시도했다. 차세대 세이지메이커는 사용자 조직의 모든 데이터로 가는 경로를 가지며, 조직 내 모든 데이터 및 AI 이니셔티브를 관리할 수 있는 통합 스튜디오를 제공한다. 새로운 세이지메이커 유니파이드 스튜디오는 마이크로소프트의 코파일럿 스튜디오나 구글클라우드의 버텍스AI와 경쟁하는 위치에 선다.

세이지메이커 유니파이드 스튜디오는 아마존 베드록, 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 ‘스튜디오’, 쿼리 에디터, 시각적 툴 등을 한데 모았다. AI 에이전트, 가드레일, 지식 기반, 플로우 등 아마존 베드록의 고성능 기반 모델과 도구를 사용해 빠르고 쉽게 생성형 AI 애플리케이션을 구축하고 배포할 수 있다. 데이터 검색, 공유, 거버넌스 기능을 기본 제공해 모든 기업내 AI 수요자의 공통 도구로 활용가능하다. 카탈로그와 거버넌스 기능까지 내장해 AI 개발자, 기획자, 데이터 분석가, 현업 사용자, 각 IT관리자 등이 모두 사용하는 플랫폼이 됐다.

AWS는 이와 함께 아마존 세이지메이커 AI의 혁신도 선보였다. 아마존 세이지메이커 하이퍼팟(HyperPod)은 레시피 기반으로 모델을 최적화할 수 있게 됐으며, 수천 개의 AI 가속기에 걸쳐 생성형 AI 모델 개발을 효율적으로 확장할 수 있게 됐다. 훈련 계획도 유연하게 운영할 수 있다.

AWS, ‘아마존 베드록’에 멀티 에이전트 관리 기능 추가

생성형 AI 양산을 위한 ‘아마존 베드록’은 내년 치열한 경쟁 영역으로 점쳐지는 ‘AI 에이전트’로 용도를 확장했다. 또 생성형 AI 서비스의 고질적 문제인 ‘환각(Hallucination)’을 줄이는 ‘자동화 추론 검증’ 기능도 추가했다. 자세한 내용은 <AWS, ‘아마존 베드록’에 멀티 에이전트 기능 추가>를 참고하면 된다.

아마존 베드록은 AI 에이전트를 생성할 수 있게 됐는데, 다중 에이전트 오케스트레이션 역량도 갖췄다. 여러 에이전트를 통제하는 슈퍼바이저 에이전트를 세워 각 에이전트의 기능을 조율할 수 있다.

베드록의 자동화된 추론 검증은 수학을 활용해 어떤 것이 올바른지 검증한다. 아마존 베드록 가드레일은 생성형 AI 애플리케이션에 검증 기능을 손쉽게 더해 안전성과 책임성을 높일 수 있다.

AWS는 아마존 베드록에서 100여개의 신규 AI 모델을 추가 제공하는 한편, ‘아마존 베드록 마켓플레이스’도 출시했다. 여러 모델을 찾고 손쉽게 선택할 수 있는 서비스다.

프롬프트 캐싱, 아마존 베드록 인텔리전트 프롬프트 라우팅 기능을 새로 출시했으며, 아마존 베드록 날리지 베이스에 구조적 데이터 검색과 그래프 RAG 기능을 추가했다.

아마존 세이지메이커가 모든 시나리오의 기업 AI 개발과 운영을 지원하는 서비스라면, 아마존 베드록은 생성형 AI를 사전 구성해놓고, 쉽게 활용하도록 하는 서비스다. 이제 아마존 베드록은 세이지메이커로 움직일 수 있는 여러 AI 서비스 중 하나인 하위 서비스로 다뤄질 것으로 보인다.

아마존 베드록은 분명히 시장 우위 사업자의 지위란 이점을 톡톡히 봤다. 기존 고객이 낯선 제3의 플랫폼보다 이미 사용중인 AWS 서비스 중 하나로 쉽게 접근하게 함으로써 단기간에 여러 고객을 확보했다. 그런데 오히려 아마존 베드록은 마이크로소프트 애저나 구글클라우드플랫폼을 혼용하는 멀티 클라우드 트렌드를 강화하는 역할도 한다.

생성형 AI 대중화 3년차를 맞이하는 내년 기업은 생성형 AI의 투자대비수익(ROI) 평가에 나서고, 비용을 최적화하기 위한 선택과 집중에 나설 것으로 예상된다. LLM의 경쟁력과 AI 인프라의 성능이란 기존 검토 항목에 전반적 비용이란 새 판단 요소가 더해지는 앞으로 1년간 AWS 베드록 고객 사례의 확장에 주목할 필요가 있다.

생성형 AI 개발자에게 가까이 가는 제안 ‘아마존 Q 디벨로퍼’

아마존 Q 디벨로퍼와 비즈니스는 생성형 AI 어시스턴트로, 그중 아마존 Q 디벨로퍼는 개발자의 작업을 지원한다. 자세한 내용은 <세 시간 동안 쏟아낸 새 기술, 살펴봐야 할 네 가지 포인트>에 있다.

아마존 Q 디벨로퍼는 테스트 생성을 간단히 할 수 있게 됐다. IDE에서 아마존 Q 디벨로퍼 채팅 창에 “/test”를 입력하거나 관련 코드 블록을 강조 표시하고 마우스 오른쪽 버튼을 클릭한 다음 “test”를 선택하기만 하면 된다.

그보다 아마존 Q 디벨로퍼의 생성형 AI 기능적 특성을 활용해 레거시 애프리케이션의 현대화를 간소화한다는 점에서 현실 개발자의 노고를 건드린다. 아마존 Q 디벨로퍼는 메인프레임 애플리케이션을 현대화된 코드로 변경해주며, 윈도우 닷넷 애플리케이션을 리눅스 환경으로 포팅해준다. VM웨어 가상화 환경의 애플리케이션도 AWS EC2 인스턴스 기반의 클라우드 네이티브 애플리케이션으로 만들어준다.

그밖에도 깃랩 듀오와 협업할 수 있게 됐고, 다양한 지속적통합/지속적전달(CI/CD) 시나리오에서 번거로움을 자동화하도록 개선됐다.

여전히 AWS는 개발자에게 사랑받는 인프라다. 여러 개발도구가 AWS와 연동되도록 만들어져 있는데, AWS는 점차 개발도구 파트너사에서 만들 기능을 스스로 만들어내고 있다.

아파치 아이스버그 서비스, ‘아마존 S3 테이블’

아마존 S3의 아파치 아이스버그 테이블 매니지드 서비스인 ‘아마존 S3 테이블’이 출시됐다. 자세한 내용은 <아마존 S3에서 ‘아이스버그 테이블’ 바로 쓴다>에 담았다.

아파치 아이스버그는 빅데이터 쿼리에 최적화된 파일 형식인 ‘아파치 파케이(Parquet)’로 분석용 데이터를 표 형식으로 구성하는 오픈테이블 포맷(OTF)이다. 가장 인기 있는 OTF로, 델타레이크와 경쟁하고 있다. 그동안 AWS는 아파치 아이스버그를 지원하는 쪽이었고, 자체적인 아이스버그 서비스 출시는 발표 시점의 문제였다.

아마존 S3 테이블은 모든 규모에서 아파치 아이스버그 테이블에 표 형식 데이터를 저장하고 관리하게 해준다. 쿼리 가능한 메타데이터를 자동으로 생성하는 기능을 포함해 데이터 탐색과 이해를 단순화하고 고객이 아마존 S3에서 데이터 가치를 극대화할 수 있도록 지원한다. 아마존 S3 버킷에서 새롭게 생겨난 ‘테이블 버킷’을 골라서 아파치 아이스버그 테이블에 데이터를 담아 데이터레이크 중 하나로 활용할 수 있다.

아마존 오로라 DSQL, 분산형 포스트그레스 출시

새로 공개된 아마존 오로라 DSQL은 신규 서버리스 분산형 SQL 데이터베이스다. EDB의 PGD와 경쟁한다. AWS는 다른 분산형 SQL 데이터베이스에 비해 높은 가용성, 강력한 일관성, 포스트그레SQL 호환성, 4배 빠른 읽기와 쓰기 속도를 갖춘 애플리케이션을 구축할 수 있다고 강조했다. 99.999%의 멀티 리전 가용성, 사실상 무제한의 확장성, 제로 인프라 관리 기능을 제공한다. 자세한 정보는 <AWS, 분산형 포스트그레스 ‘아마존 오로라 DSQL’ 공개>를 확인하면 된다.

AWS는 관계형 데이터베이스 트랜잭션 처리를 재설계해 아마존 오로라 DSQL의 고성능과 정확한 동기화를 구현했다. AWS는 오토데스크, 일렉트로닉 아츠(EA), 클라르나, QRT, 레이저페이 등의 기업이 아마존 오로라 DSQL을 검토중이라고 전했다.

AWS, AI 학습전용 ‘트레이니움2 인스턴스’ 출시

전세계적으로 엔비디아의 GPU는 여전히 공급 부족이다. 또 너무 비싸기도 하다. 당장 필요한 GPU를 활용하기 위해 많은 기업은 AWS를 비롯한 클라우드사업자의 GPU를 임대하고 있다. 자세한 내용은 <AWS, AI 학습용 칩 ‘트레이니움2′ 인스턴스 출시>에 담았다.

그 가운데 클라우드 3사 모두 자체 AI 칩을 선보고 있다. AWS는 학습용의 ‘트레이니움’과 추론용의 ‘인퍼런시아’를 일찌감치 출시해 엔비디아 GPU로 집중되는 고객의 AI 수요를 분산시키고 있다.

트레이니움은 작년 2세대 공개 후 1년만에 정식으로 업그레이드됐다. 그리고 내년 출시될 트레이니움3도 미리 공개됐다.

높은 연산 성능과 저렴한 가격을 무기로 하는 트레이니움과 인퍼런시아는 AWS의 고민거리기도 하다. 엔비디아 GPU는 만족할 수량을 확보하기도 어렵고, 고객이 엔비디아 GPU를 많이 쓸수록 전력 등 인프라 운영비용이 폭증해 AWS를 비용 압박으로 몰아넣는다. 아마존 세이지메이커와 베드록에서 등장하는 모델 테스트, 학습 스케줄링, 인프라 프로비저닝, 모델 이전 간소화 등의 기능은 고객의 GPU 워크로드를 인퍼런시아와 트레이니움으로 넘기는 허들을 낮추는 역할이다.

AWS가 트레이니움 칩에서 모델을 실행할 수 있도록 최적화하는 컴파일러, 런타임 라이브러리, 도구 등을 뉴런 SDK로 제공한다는 점에 주목할 필요가 있다. 개발자는 모델을 최적화해 트레이니움 칩에서 최적의 성능을 발휘할 수 있다고 AWS는 강조한다. 뉴런은 JAX와 파이토치 같은 인기 프레임워크와 통합됐으며, 구글에서 투자하는 개방형 LLM 컴파일러 ‘오픈XLA’를 활용한다. 오픈XLA와 작스, 파이토치는 경쟁사의 투자 항목이므로, AWS는 자사 칩의 성공을 위해 경쟁사의 투자를 응원해야 하는 처지다.

총평

올해 AWS 리인벤트는 떠들썩하고 으리으리하게 개최됐다. 하지만 여전히 세상을 깜짝 놀라게 하는 데는 실패하고 있다. 과거 아마존 오로라, AWS 람다 등을 출현시키며 IT 시장의 파괴자로 등극했던 전설은 이제 나타나지 않는다.

물론 올해도 수백가지 기능을 선보이고 다 보기도 힘든 문서더미를 쏟아냈다. 모두 중요하고 대단한 것으로 포장됐다. 어느 게 중요하고 가치 있는 지 우선순위를 따지기 힘들 정도의 규모다. 그것은 AWS가 고객의 요청에 대한 피드백으로 새 기능을 개발하는 전략을 언제나 견지하기 때문이다. 모든 고객의 요청이 중요하고, 그에 대응하는 팀이 있으므로 모든 새 기능이 중요하고 대단한 것으로 묘사되는 것이다. 특정 도메인에 종사하는 담당자라면 당연히 해당 신기능에 반응하고 감동할 수 있다. 그러나 기업 전반을 보는 상위 관리자의 입장에선 혼란스러울 뿐이다.

노바는 시장 파괴자나 게임 체인저로 평가받기엔 부족해 보인다. AWS는 이제 그냥 IT 담당자라면 당연히 사용하고, 익숙하게 고려하는 레거시 세계로 들어가는 듯하다. 과거 VM웨어가 유닉스 시대를 종결시키고 서버 가상화로 인프라 시장을 평정했다가 어느 틈에 레거시 인프라로 취급받는 게 떠오른다.

AWS의 영광 시대를 열어 아마존 최고경영자로 떠났던 앤디 제시의 재소환이 안쓰러워 보인다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network