스노우플레이크, 안전한 생성AI 실행 위한 스노우파크 컨테이너 출시…프로그래밍 기능 확장

글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)는 현지시각 26일부터 29일까지 미국 라스베이거스에서 열리는 연례 사용자 컨퍼런스인 ‘스노우플레이크 서밋 2023’에서 데이터 과학자, 데이터 엔지니어, 애플리케이션 개발자를 대상으로 프로그래밍 기능을 확장하는 ‘스노우파크 컨테이너 서비스(Snowpark Container Services)’를 선보였다.

스노우파크 컨테이너 서비스는 사용자의 업무 요건에 맞게 커스터마이징 한 컨테이너 이미지를 생성하고 스노우플레이크에 배포해 사용할 수 있는 스노우파크 런타임 실행 환경이다. 개발자는 엔비디아 그래픽처리장치(GPU)와 AI 소프트웨어 기반의 가속 컴퓨팅 등 다양한 인프라 옵션을 사용해 안전하게 관리되는 스노우플레이크 플랫폼에서 더 많은 워크로드를 간편하게 실행할 수 있게 된다.

다양한 AI·머신러닝(ML) 모델, 애플리케이션프로그래밍인터페이스(API), 내부에서 개발한 애플리케이션 등이 모두 워크로드에 포함된다.

스노우플레이크 고객은 스노우파크 컨테이너 서비스로 대규모 언어모델(LLM), 노트북(Notebooks), ML 모델 운영(MLOps) 도구 등 방대한 타사 소프트웨어와 앱 카탈로그도 이용할 수 있다. 스노우플레이크는 더 많은 조직이 자체 데이터와 ML 모델을 현실에서 사용할 수 있도록 사용자가 ML 모델을 개발, 운영, 소비 방법을 단순화하고 확대하고자 하는 움직임을 이어가고 있다.

이를 뒷받침하는 기능으로는 더 효율적인 모델 개발을 위한 새로운 스노우파크 ML API 세트, 확장 가능한 ML옵스(Ops)를 위한 스노우파크 모델 레지스트리, 모델을 대화형 앱으로 바꿀 수 있는 스트림릿(Streamlit)과 고급 스트리밍 기능 등이 포함된다.

스노우플레이크 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 부사장은 “스노우플레이크의 제품 혁신은 고객이 데이터 클라우드를 구축하는 방식을 개선함을 의미하며, 이를 통해 확장된 프로그래밍 기능과 방대한 활용 사례를 갖춘 데이터 및 애플리케이션 개발 종사자는 원하는 방식대로 구축, 테스트, 배포할 수 있게 된다”며 “스노우플레이크는 사용자가 데이터 활용 방식을 개선하고 유연한 환경에서 유의미한 결과를 도출할 수 있도록 스노우파크를 포함해 자체 ML과 스트리밍 기능에 지속적으로 투자하고 있다”고 말했다.

대규모 언어 모델(LLM) ‘도큐먼트 AI’ 활용, 더 쉽고 빠르게 인사이트 도출 지원

한편, 스노우플레이크는 이번 서밋 행사에서 고객들이 자체적으로 누적해온 데이터에서 더 쉽고 빠르게 비즈니스 가치를 창출하고 워크로드에 향상된 성능을 활용할 수 있도록 하는 자사 단일 통합 플랫폼의 새로운 기능들도 발표했다.

그 중에서도 지난해 9월 인수한 애플리카(Applica)의 생성형 AI 기술로 구축한 대규모 언어 모델(LLM) ‘도큐먼트 AI(Document AI)’를 공개했다. 고객이 문서를 이해하고 비정형 데이터를 쉽고 빠르게 활용할 수 있도록 지원한다.

IDC에 따르면 향후 5년 간 전세계 데이터의 90% 이상이 문서, 이미지, 비디오, 오디오 등의 형태를 지닌 비정형 데이터다. 과거에는 방대한 양의 비정형 데이터에서 의미 있는 인사이트를 얻으려면 오류가 발생하기 쉬운 수동 프로세스를 이용했지만, 비정형 데이터를 지원하는 스노우플레이크의 빌트인 LLM인 ‘도큐먼트 AI’를 이용하면 자연어 처리를 통해 오류없이 문서에서 쉽게 인사이트를 추출할 수 있다.

‘도큐먼트 AI’는 애플리카 기반의 멀티모달(multimodal) LLM을 활용한다. 조직은 스노우플레이크 플랫폼 내에서 멀티모달 LLM을 통합해 문서에서 필요로 하는 콘텐츠를 쉽게 추출하고 비주얼 인터페이스 및 자연어를 사용해 결과를 정교하게 조정할 수 있다. 고객들은 조직이 비즈니스를 더 스마트하게 운영하고 확장 가능한 방식으로 생산성을 높이기 위해 ‘도큐먼트 AI’를 사용하고 있다. ‘도큐먼트 AI’를 시작으로 스노우플레이크는 더 많은 유형의 비정형 데이터를 지원할 예정이다.

또한 스노우플레이크는 ‘아이스버그 테이블(Iceberg Table)’을 통해 개방형 테이블 포맷을 사용, 스노우플레이크 카탈로그에 있는 데이터와 다른 카탈로그 데이터를 통합적으로 관리하고, 기능을 강화해 조직 내 데이터 사일로를 없애도록 했다. 뿐만 아니라 스노우플레이크 성능 지수(SPI)를 도입해 스노우플레이크 플랫폼의 성능에 대한 메트릭스를 제공하며 지속적으로 자사 플랫폼의 가격 대비 성능을 개선하고 있다. 실제 안정적으로 운영하고 있는 고객의 메트릭스를 8개월간 추적한 결과, 고객 워크로드 쿼리 시간을 15% 단축하는 결과를 도출했다는 게 회사측 설명이다.

아파치 아이스버그는 오픈 테이블 포맷의 산업 표준으로 계속해서 인기를 얻고 있다. 스노우플레이크는 조직이 아이스버그 데이터로 더 쉽게 데이터 클라우드의 가치를 확장하도록 돕는다. 조직은 해당 데이터의 저장 위치에 관계없이, ‘아이스버그 테이블’을 통해 아파치 아이스버그 형식의 자체 스토리지에 있는 데이터를 사용할 수 있다. 동시에 스노우플레이크의 성능과 통합 거버넌스의 혜택을 누릴 수 있다.

스노우플레이크 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 부사장은 “고객은 스노우플레이크의 단일 플랫폼을 통해 선도적인 성능, 규모 및 거버넌스의 혜택을 누릴 수 있다”며 “단일 플랫폼은 스노우플레이크의 핵심 혁신 전략으로 지속적으로 강화해 나갈 것”이라고 말했다.

이밖에도 스노우플레이크는 이번 행사에서 데이터 사이언스, 데이터 엔지니어링 및 애플리케이션 개발을 위해 데이터 프로그래밍 기능을 확장하는 새로운 혁신, 데이터 클라우드에서 필요한 규모로 조직이 선도적인 애플리케이션을 배포와 수익화할 수 있도록 지원하는 혁신 등을 발표했다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network