아마존 S3에 벡터 데이터 바로 쓴다

AWS, ‘아마존 S3 벡터’ 미리보기 출시

아마존웹서비스(AWS)가 오브젝트 스토리지 ‘아마존 S3’에 벡터 데이터를 저장할 수 있는 기능을 선보였다. 별도 벡터 데이터베이스 인프라 없이 아마존 S3에 벡터 데이터세트를 저장해 대형언어모델(LLM)의 검색증강생성(RAG)에 바로 활용할 수 있다.

AWS는 지난 18일 목적별 벡터 스토리지 솔루션 ‘아마존 S3 벡터(Vectors)’를 미리보기로 공개했다.

벡터 검색은 데이터를 수치화된 고차원 공간의 좌표로 변환하고, 유사성 지표나 거리를 사용해 의미상 유사한 항목을 찾는 기술이다. 단어, 문장, 이미지 등의 비정형 데이터를 기계에서 이해하기 쉬운 수치로 표현한다. 임베딩 모델로 벡터를 생성하고, 해당 벡터 값을 데이터베이스에 저장하게 되는데, 아마존 S3 벡터를 이용하면 별도 데이터베이스를 사용하지 않고 스토리지에 바로 저장할 수 있다. 이를 통해 벡터 업로드, 저장, 조회 등에 드는 총 비용을 최대 90% 절감하면서 높은 내구성도 확보할 수 있다고 AWS 측은 강조했다.

별도의 벡터 데이터베이스 인프라를 설정하지 않고 S3 스토리지의 벡터 버킷에 담는 것만으로 LLM의 벡터 데이터 활용이 가능해진다. 각 벡터 버킷은 최대 1만개의 벡터 인덱스로 구성가능하고, 각 인덱스마다 수천만개의 벡터를 저장할 수 있다.

아마존 S3 벡터는 인덱스에 벡터 데이터를 추가할 때 메타데이터를 각 벡터에 키와 값으로 첨부해 날짜, 카테고리, 사용자 기본 설정 등 조건 세트에 따라 쿼리를 필터링할 수 있다. 사용자의 벡터 데이터 규모 변화에 따라 자동으로 스토리지를 최적화해 최고의 가격 대비 성능을 유지한다.

기본적으로 아마존 베드록 날리지베이스와 기본 통합돼 효율적으로 RAG 애플리케이션을 구축할 수 있다.

별도의 벡터 저장소를 지원하는 엘라스틱서치 포크버전인 아마존 오픈서치 서비스와 통합하면 자주 조회되지 않는 벡터를 아마존 S3 벡터에 저장했다가, 수요 증가 시 해당 벡터를 오픈서치로 이동시키는 게 가능하다. 아마존 세이지메이커와도 통합 가능하다.

해당 서비스는 벡터 데이터와 인덱스를 저렴한 매체에 저장하고 바로 조회한다. 보통 벡터 인덱스의 조회 속도를 높이려 RAM이나 SSD를 활용하는데, 가장 저렴한 매체에서 중간 다리 없이 바로 값을 조회하므로 인프라 비용을 대폭 줄일 수 있는 것이다. 데브클레스에 따르면, 하드디스크 기반 벡터 데이터베이스이므로 근본적으로 인메모리나 SSD보다 성능이 떨어진다. 하지만, 쿼리 당 수백밀리초의 성능을 제공하며, 초당 수백건 쿼리를 처리하는 네임스페이스 수준에서 활용하기에 충분하다는 설명이다. 벡터 저장소 조회를 여러차례 해야 하는 서비스엔 적합하지 않지만 챗봇의 일부 검색이나 RAG 수행으로 쓰기에 적당하다고 한다.

아마존 S3 벡터의 이용료는 데이터 추가(GB 당 0.20달러), 데이터 저장(GG 당 월 0.06달러), 데이터 쿼리(요청 수와 처리되는 데이터 양 기반으로 하는 더 복잡한 계산) 등이다.

LLM의 급속한 발전과 기업의 활발한 생성형 AI 구축 바람 속에서 벡터 데이터베이스도 많은 수요를 일으키고 있다. 기업의 전문성 있는 데이터를 범용 LLM에서 활용하게 하는 방안으로 벡터 데이터 저장소가 필요하기 때문이다. 이에 오라클 데이터베이스, 마이SQL, 포스트그레SQL, SQL서버 등 관계형 데이터베이스도 벡터 검색 기능을 추가했을 정도다.

아마존 S3는 저렴한 오브젝트 스토리지 서비스였지만, 이제 데이터레이크의 테이블 저장소로도 활용가능하고, 벡터 저장소로도 활용 가능해졌다. 사용자는 아마존 S3에서 버킷을 지정해 원하는 용도에 맞게 쓸 수 있다. 현재 아마존 S3는 일반 용도 버킷, 디렉토리 버킷(계층적 오브젝트 저장소), 테이블 버킷(아파치 아이스버그), 벡터 버킷 등의 4가지 유형을 제공한다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network