AWS가 re:invent 2018에서 쏟아낸 새 서비스 TOP 10

세계 최대의 클라우드 업체 아마존웹서비스(AWS)가 지난주 미국 라스베이거스에서 연례 기술 컨퍼런스 ‘AWS 리인벤트(re:invent) 2018’을 개최했다. AWS는 올해도 이 자리에서 새로운 기술과 서비스를 발표했다. 너무 많은 발표가 있어서 다 소개하는 것은 무리고, 대표적인 몇 가지를 살펴보자

1. 하이브리드 클라우드에 진출하는 AWS

AWS는 지금까지 퍼블릭 클라우드 서비스에만 집중해왔다. 그러나 앞으로는 프라이빗 클라우드와 퍼블릭 클라우드를 연동하는 하이브리드 시장도 AWS의 타깃이 될 듯 보인다.

AWS는 기업 내 데이터센터에서 AWS 클라우드를 활용할 수 있도록 하는 ‘AWS 아웃포스트’를 발표했다.

AWS 아웃포스트는 AWS 인프라와 서비스를 기업 내부 환경에서 똑같이 운영할 수 있도록 해주는 제품이다. AWS는 직접 서버, 스토리지, 네트워킹 하드웨어를 디자인해 활용해왔다. AWS가 사용하는 같은 소프트웨어를 하드웨어에 담아 어플라이언스 형태로 공급한다. 아웃포스트는 ‘VM웨어 클라우드 온 AWS’와 ‘AWS 네이티브’ 두 가지 방식으로 제공된다.

이는 마이크로소프트의 애저 스택의 전략을 차용한 듯 보인다. 마이크로소프트 애저 스택 역시 퍼블릭 클라우드에서 사용하는 소프트웨어를 하드웨어에 담아서 공급하는 제품이다

2. 블록체인도 클라우드로

AWS는 블록체인 원장 데이터베이스인 ‘아마존 퀀텀 렛저 데이터베이스(QLDB)’와 블록체인 완전 관리 서비스인 ‘AWS 매지니드 블록체인’을 출시한다고 밝혔다.

‘아마존 퀀텀 렛저 데이터베이스’는 중앙집중형 원장 데이터베이스다. 금융, 제조, 보험, 인사 등 신뢰할 수 있는 데이터 기록을 필요로 하는 애플리케이션을 위해 암호화로 확인할 수 있는 원장을 개발했다고 회사 측은 설명했다. 아마존 퀀텀 렛저 데이터베이스는 애플리케이션 내 데이터의 모든 변동사항이 기록되며, 기록된 데이터는 언제든 검증할 수 있다.

앤디 재시 AWS CEO는 “아마존 QLDB는 새로운 개념의 원장 데이터베이스로서 애플리케이션 데이터의 변경 사항 전체를 추적하고 확인할 수 있는 것이 특징”이라며 “전체 변경 내역은 삭제되거나 수정 될 수 없도록 모든 변경 사항에 대해 암호로 입증된 순차적 레코드를 유지 관리한다”고 설명했다.

‘아마존 매니지드 블록체인’은 중앙권한 없이 당사자가 거래를 실행할 수 있는 애플리케이션을 만들게 하기 위한 솔루션이다. 일반적으로 블록체인 네트워크를 생성하기 위해선 네트워크 구성원이 수동으로 하드웨어 공급, 소프트웨어 설치, 접근을 위한 인증서 생성 및 관리, 네트워킹 구성요소를 구축해야 한다. 아마존 매니지드 블록체인은 이 과정을 간소화한 서비스다. 구성원이 블록체인 네트워크만 생성하면 아마존 매니지드 블록체인이 소프트웨어, 보안, 네트워크 설정을 구성한다. 블록체인 프레임워크로 하이퍼렛저 패브릭과 이더리움을 지원한다.

3. 아마존닷컴이 사용하는 수요 예측 기술을 공개

AWS는 아마존닷컴에서 현재도 수요 예측에 사용하는 동일한 기술을 기반으로 예측 역량을 제공하는 ‘아마존 포캐스트(Amazon Forecast)’ 서비스도 출시했다. 과거 데이터, 인과관계 데이터를 사용해 개인학습 예측 모델을 자동으로 조정하고 배포해준다.

머신러닝 관련 전문가가 아니더라도 쉽게 활용할 수 있는 것이 특징이다. 과거의 데이터와 예측에 영향을 줄 수 있다고 생각하는 추가 데이터만 제공하면 된다. 데이터를 제공하면 아마존 포캐스트는 자동으로 데이터를 검사하고 의미 있는 것을 식별하며 시계열 데이터를 보는 것보다 최대 50% 더 정확한 예측을 할 수 있는 예측 모델을 생성한다고 회사 측은 설명했다.

4. 수일만에 데이터 레이크를 만들자

데이터레이크(Data Lake)는 데이터웨어하우스(DW)에서 확장된 개념의 데이터 저장소다. DW 가 정형 데이터를 대상으로 한다면, 데이터레이크는 데이터의 종류와 관계없이 한 곳에 저장해둔다. 데이터를 저장할 때가 아니라 꺼내서 쓸 때 정의하는 것이 특징이다.

데이터레이크는 빅데이터 시대의 새롭에 떠오른 데이터 관리 기법이지만, 구현이 쉽지 았았다. 여러 소스에서 데이터 로딩, 버킷과 파티션 설정, 데이터 청소 및 준비, 여러 서비스 상에서 보안 정책 실시, 액세스 제어 설정 세부 구성 등의 작업을 요한다.

이런 문제를 해결하기 위해 AWS는 AWS 레이크 포메이션(AWS Lake Formation)이라는 제품을 선보였다. AWS 레이크 포메이션은 데이터 레이크 환경을 손쉽게 만들기 위한 역할을 한다. 데이터 레이크 구성을 위한 번거로운 과정을 제거해 며칠 안에 데이터 레이크를 구축할 수 있는 기능을 제공한다. 처리하고자 하는 데이터 소스를 간단히 정의한 후 미리 정해진 데이터 액세스 및 보안 정책 리스트 중 선택해 적용할 수 있다.

5. 개인화 서비스도 간단히!

AWS는 ‘아마존 퍼스널라이즈’라는 서비스를 출시했다. 개발자가 애플리케이션을 사용하는 고객을 위해 개인화 서비스를 쉽게 만들 수 있는 기계 학습 서비스다.

정교한 추천 시스템을 구축하기 위해서는 기계학습이 필요한데, 애플리케이션 개발자가 복잡한 기계학습 시스템을 구현하는 것은 쉽지 않다. 아마존 퍼스널라이즈는 이전에 기계학습 경험이 전혀 없는 개발자도 기계학습 기술을 이용해 정교한 개인화 기능을 쉽게 구축할 수 있다고 한다.

6. AWS 멀티 계정도 안전하게

기업은 AWS로 마이그레이션할 때 대개 수많은 애플리케이션과 분산된 팀을 보유하고 있다. 이들은 일반적으로 여러 개의 계정을 생성한다. 현업에서 쉽게 AWS 계정을 생성할 수 있기 때문에 마구잡이로 만들어진 계정으로 인해 자원이 낭비되거나 보안규제를 벗어나는 일이 벌어지기도 한다.

AWS는 이처럼 여러 AWS 계정을 통합적으로 관리할 수 있는 서비스 ‘AWS 컨트롤 타워’를 출시했다. 현업에서는 자유롭게 AWS를 사용하지만, 중앙에서는 각 계정을 통제 안에 둘 수 있다.  이를 이용하면 현업은 기존처럼 새로운 AWS 계정을 신속하게 프로비저닝할 수 있으면서도 새 계정은 회사의 규정에 준수되고 있는지 확인 가능하다.

7. 보안 경고의 홍수 속에서 해방된다

‘AWS 시큐리티 허브’는 AWS 환경에서 보안과 규정 준수를 관리할 거점 지역이다. 이용자는 AWS 보안 및 규정 준수 상태를 포괄적으로 일목요연하게 볼 수 있다.

기업은 방화벽, 엔드포인트 보안, 컴플라이언스 스캐너 등 다양한 보안 툴을 이용한다. 그러나 이로 인해 매일 수백, 때로는 수천 건의 보안 경고를 처리해야 한다. 보안 관리자는 이러한 경고를 처리하기 위해 각종 툴을 오가느라 시간을 허비하는 경우가 종종 있다. 아마존 시큐리티 허브는 아마존 가드듀티(GuardDuty), 아마존 인스펙터(Inspector), 아마존 메이시(Macie) 등 여러 서비스에서 나오는 보안 경고를 한 눈에 볼 수 있도록 하고, 우선순위에 따라 처리할 수 있도록 한다. 또 업계 표준 기반의 자동화된 규정 준수 검사를 사용해 지속적으로 모니터링할 수도 있다.

8. 기계학습 데이터도 손쉽게 마련한다

기계학습의 가장 큰 난관은 학습용 데이터를 어떻게 구축할 것인가 하는 점이다. 일반적으로 학습 데이터를 만들기 위해서는 사람이 이 데이터가 어떤 것인지 일일이 ‘라벨링’을 하고, 컴퓨터가 이 정보를 보고 학습한다. 대규모 학습 데이터에 라벨링을 일일이 하는 것은 기계학습의 가장 큰 난관이다.

AWS는 라벨링을 좀더 효율적으로 하기 위해 ‘아마존 세이지메이커 그라운드 트루(Amazon SageMaker Ground True)라는 서비스를 발표했다. 머신러닝을 위한 학습 데이터를 신속하고 정교하게 만들기 위한 서비스로, 라벨링을 위한 사람의 손길을 최소화 하는 역할을 한다.

이 서비스는 우선 데이터에 라벨링을 하는 사람들이 쉽게 업무를 할 수 있도록 워크플로우를 제공한다. 또 자동으로 라벨링을 해주기 때문에 라벨링 비용을70% 감소시킬 수 있다고 회사 측은 설명했다.

9. OCR(광학문자인식)을 넘어 이미지에서 데이터를 뽑아내자

AWS는 이미지에서 텍스트를 추출하는 OCR 서비스의 일종인 아마존 텍스트랙트(Textract) 서비스를 발표했다. 스캔한 문서에서 텍스트와 데이터를 자동으로 추출하는 서비스다. 회사 측에 따르면, 아마존 텍스트랙트는 단순한 OCR을 뛰어넘어 표에 저장된 양식과 정보의 내용도 식별한다.

예를 들어 보험설계사가 종이에 받아온 계약서를 온라인화 할 때 텍스트랙트를 이용하면 설계사가 회사 컴퓨터에서 고객 정보를 입력할 필요없이 스캔을 하는 것만으로 필요한 필드에 정확한 정보가 입력된다는 것이다.

10. 시계열 데이터 전용 DB

아마존 타임스트림(Timestream)은 시계열 데이터베이스 서비스다. 사물인터넷의 발달로 시간에 따른 변화를 측정하는 시계열 데이터는 가장 빠르게 증가하는 데이터 유형 중 하나다. 회사 측은 타임스트림을 이용하면 관계형 데이터베이스의 10분의 1 가격으로 하루에 수조 개의 이벤트를 쉽게 저장하고 분석할 수 있다고 강조했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network