스노우플레이크가 지금 주력하는 것 : 비용 최적화, AI·ML·생성AI 지원

스노우플레이크는 글로벌 클라우드 데이터 플랫폼 기업으로, 이제는 국내 IT 업계에서도 잘 알려져 있다. 지난 2012년 미국 샌프란시스코에서 설립돼 2020년 9월 미국 뉴욕증권거래소에 소프트웨어 기업으로는 역대 최고가로 상장해 주목받았다. 한국 시장에 지사를 설립하고 진출한 지는 이제 2년이 다 되어간다.

진출 초기에 스노우플레이크는 클라우드 기반 데이터웨어하우스(DW) 소프트웨어 기업으로 알려졌다. 이제는 데이터 웨어하우징, 데이터 레이크, 데이터 엔지니어링, 데이터 사이언스, 데이터 공유 등 데이터 관련 모든 것을 포괄하는 클라우드 기반 통합 데이터 플랫폼 제공업체가 됐다. 최근에는 스노우플레이크 안에서 인공지능(AI)과 머신러닝(ML)을 활용하고, 거대언어모델(LLM) 기반의 생성AI 기능까지 활용할 수 있도록 확장하고 있다. 이제는 고객이 데이터와 관련해 원하는 무엇이든 지원하는 데이터 클라우드 서비스 제공기업으로 나아가고 있다.

“스노우플레이크는 그동안 많은 진화와 발전을 거듭해 이제는 광범위한 하나의 플랫폼이 됐다. 단순히 데이터를 저장하는 데 그치지 않고 컴퓨팅 작업을 수행하고 데이터 복제를 진행한다. 이 모든 것을 보안과 거버넌스를 확보한 상태로 지원하는 플랫폼이다.”

스노우플레이크에서 최고제품책임자(CPO)를 맡고 있는 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 수석 부사장(SVP)의 말이다.

클레이너만 수석 부사장은 스노우플레이크코리아가 서울 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 5일 개최하는 ‘데이터 클라우드 월드 투어(Data Cloud World Tour)’ 컨퍼런스에 연사로 참석하기 위해 방한했다. 행사를 하루 앞두고 4일 기자들과 만난 자리에서 그는 스노우플레이크 플랫폼을 이렇게 설명했다.

클레이너만 수석 부사장은 스노우플레이크의 강점으로 먼저 “데이터 웨어하우징이든, 데이터 엔지니어링이나 데이터 사이언스든 다양한 데이터 관련 업무와 데이터 공유 애플리케이션까지 모든 것을 통합된 단일 플랫폼상에서 거버넌스와 보안이 강구된 상태로 할 수 있게 해준다”고 꼽았다. 또한 “데이터를 잘 배치하고 배포해 수익화를 이뤄내고, 인공지능(AI)과 머신러닝(ML)을 포기하는 것 없이도 할 수 있도록 지원한다”고 강조했다.

단일 플랫폼이 제공하는 것 – 성능 향상, 비용 절감, 최적화

그에 따르면, 스노우플레이크는 단일 플랫폼상에서 모든 작업을 수행할 수 있게 제공하면서 도입 고객들의 업무 성능이 향상될 수 있도록 지원하고 있다. 그에 대한 정량적인 결과를 보여주기 위해 스노우플레이크는 성능 지표(Performance Index)를 제공하고 있다. 지난 12개월 간 스노우플레이크 기술과 솔루션을 활용해 성능을 측정한 결과 15%의 워크로드 성능(Query duration) 향상 결과를 얻었다. “고객 입장에서는 결국 비용 절감 효과를 얻게 되는 것”이라고 클레이너만 수석 부사장은 성능 향상으로 얻는 혜택을 설명했다.

스노우플레이크는 이같은 성능 향상을 통한 비용 절감뿐 아니라 비용과 자원 최적화 지원하는데 주력하고 있다. 클레이너만 수석 부사장은 “스노우플레이크가 무엇보다 중요하게 여기고 있는 것은 고객 입장에서 봤을 때 어떻게 비용을 잘 관리할 수 있고 통제할 수 있냐는 것”이라며 “그런 점에서 고객사들에게 자원을 어느 정도 활용하고 있는지 확인할 수 있는 가시성을 제공하고 이를 통제하는 능력과 정책을 지원하면서 비용과 자원 활용 측면에서 최적화를 이뤄낼 수 있도록 지원을 계속하고 있다”고 내세웠다.

이와 관련해 스노우플레이크는 새로운 예산(BUDGETS) 기능을 선보였다. 고객이 활용 가능한 자원을 얼마나 빨리 소비하고 있는지 보여주고, 가용 예산이나 자원이 한계에 도달했을 때는 어떠한 액션을 취할 수 있는지 판단해 조치할 수 있도록 지원한다.

조치 방안과 관련해 제공하는 대표적인 기술로는 개방형 파일이나 테이블 포맷을 사용해 다양한 카탈로그 데이터를 저장하고 활용할 수 있는 옵션을 제공하는 ‘아이스버그 테이블(ICEBERG TABLES)’이 있다.

클레이트만 수석 부사장은 데이터를 활용해 수익화를 구현할 수 있도록 지원하는 다른 사례로 스노우플레이크 마켓플레이스를 내세우기도 했다. 현재 25개 이상의 스노우플레이크 네이티브 애플리케이션이 제공된다.

AI·ML 지원 확대, 핵심은 ‘스노우파크’ – ‘스노우파크 컨테이너 서비스’

스노우플레이크는 LLM 기반 생성AI인 ‘도큐먼트 AI(DOCUMENT AI)’도 새롭게 제공한다. 자연어를 사용해 필요한 답변을 추출해 리포팅이나 AI·ML 파이프라인 용도로 사용할 수 있다. 특히 비정형 데이터에서 의미 있는 콘텐츠를 더욱 손쉽게 확보할 수 있다.

이뿐만 아니라 스노우플레이크는 최근 AI·ML 파이프라인 애플리케이션인 ‘스노우파크(SNOWPARK)’의 제공 역량을 계속 강화하면서 AI와 ML 투자를 확대하고 있다.

클레이트만 수석 부사장은 “스노우파크는 파이썬이나 자바 형태로 데이터를 가져다 보안이 강구된 형태로 AI와 ML 파이프라인에서 사용할 수 있게 지원한다. 전세계적으로 (8000여개의) 스노우플레이크 고객사 가운데 30% 이상이 매주 단위로 스노우파크를 사용하고 있다. 하루 단위의 크레딧 숫자는 1000만을 넘어설만큼 채택률 면에서 매우 적극적으로 활용되고 있다”면서 “새로운 기능 생성과 모델 학습 작업을 간소화하는 스노우파크 ML API뿐 아니라 새로운 스노우파크 모델 레지스트리를 제공해 고객이 ML과 AI를 보다 적극적으로 활용할 수 있게 지원하고 있다”고 말했다.

그는 최근 선보인 ‘스노우파크 컨테이너 서비스’를 “가장 많은 기대를 받고 있는 새로운 역량”이라고 지칭했다. 이 서비스는 스노우파크가 파이썬, 자바뿐 아니라 모든 도커를 모든 프로그램 언어로 어떠한 비즈니스 로직이든 안전하게 사용할 수 있게 해주며, 이로 인해 스노우플레이크 안에서 GPU를 활용한 컴퓨팅 서비스도 가능케 한다는 게 클레이트만 수석 부사장의 이야기다. 그는 “다양한 산업 분야에 걸쳐 여러 사용사례가 가능해진다”면서 ”그 중에서도 스노우플레이크 안에서 생성AI를 활용할 수 있다는 점이 큰 관심을 모으고 있다. 우리는 오픈소스, 커머셜, 서드파티나 자체 개발한 언어모델에 관계없이 모든 형태의 모델을 지원하는 것을 목표로 하고 있다. 또 스트림릿(STREAMLIT)을 통해 간소화된 방식으로 고객 데이터를 보안과 안전성을 확보한 상태로 전달하고자 한다“고 덧붙였다.

현재 스노우플레이크는 엔비디아와 협력해 컨테이너 내에서 제공되는 서비스로 엔비디아 LLM을 지원한다. 레카(ReKa), AI21랩스(AI21labs)의 LLM도 스노우플레이크 안에서 지원한다고 최근 발표한 바 있다.

금융 시장 공략 확대, “고객사 확대 기대”

한편, 이날 최기영 스노우플레이크코리아 지사장은 한국 사업에 대해 “6월 초에 금융보안원의 클라우드서비스플랫폼(CSP) 안정성 평가를 완료해 서비스형소프트웨어(SaaS) 기반 데이터 플랫폼을 금융권에서 쓸 수 있게 하는 이정표를 넘었다”며 “이는 국내 금융사들이 사용할 수 있도록 지원을 가속화하는 계기가 됐다. 이를 바탕으로 현재 많은 핀테크, 대형 금융사들에서 개념검증(POC)이 진행되고 있어, 앞으로 더욱 많은 고객들을 확보할 수 있을 것”이라고 밝혔다.

이날 공개한 스노우플레이크의 국내 주요 고객사로는 아모레퍼시픽, 더핑크퐁컴퍼니, LG유플러스, 카카오게임즈, 넥슨, 데이터노우즈, 라플라스테크놀로지스, 런드리고, LG화학, 에이아이스페라, 팀프레시, 삼성전자, 한국타이어, SK브로드밴드, 교보문고, 풀무원, CJ프레시웨이, 한라홀딩스 등이다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network