“더 빨리 AI의 성과를 얻고 싶다면, 스노우플레이크”

“데이터 세계에서 많은 일이 일어나고 있고, 실제로 데이터로 할 수 있는 일이 많지만 그리 쉽지는 않다. AI는 잠재력 있지만 원하는 것만큼 프로덕션에 투입하기 쉽지 않다. 많은 데이터는 사일로화되고 단편화됐으며 품질도 나쁘다. 혁신은 점점 더 빠르게 진행되고 있지만 데이터 아키텍처, 데이터 인프라가 방해할 수 있다. 스노우플레이크는 이같은 현실의 딜레마를 해결할 수 있게 돕는다. 스노우플레이크는 여러분이 AI를 활용하도록 돕고 싶고, 여러분이 조직에 결과를 더 빨리 제공하도록 돕고 싶다.”

크리스티안 클레이너만 스노우플레이크 제품담당 수석부사장은 는 9일 서울 삼성동 코엑스 컨벤션센터에서 열린 데이터 클라우드 컨퍼런스 ‘스노우플레이크 월드 투어 서울’ 기조연설에서 이같이 밝혔다.

스노우플레이크 월드 투어 서울 행사에 기조연설을 포함해 35개 이상의 세션과 40여 명의 고객, 파트너, 스노우플레이크 발표자들이 참여해 AI 시대의 데이터 혁신 방향을 제시했다. 올해 행사엔 제조, 금융, 리테일, 스타트업 등 12개 이상 산업군에서 3000여명이 참석했다.

기조연설은 최기영 스노우플레이크 코리아 지사장, 크리스티안 클레이너만 스노우플레이크 제품 담당 수석부사장, 이수현 스노우플레이크 코리아 테크 에반젤리스트 등이 진행했다. 이어 노시희 미래에셋자산운용 디지털전략본부장과 장수백 부릉 엔지니어링본부 CTO이 스노우플레이크와 함께한 데이터 클라우드 여정에 대한 이야기와 실제로 어떻게 비즈니스에 활용하고 있는지 경험을 공유했다.

크리스티안 클레이너만 수석부사장은 기업의 생성형 AI 여정을 지원하는 스노우플레이크 AI 데이터 클라우드 플랫폼의 생성형 AI 지원 기능인 코텍스 AI와, 대화형 AI 인터페이스 ‘스노우플레이크 인텔리전스’를 소개했다.

클레이너만 부사장은 “스노우플레이크는 코텍스 AI를 통해 정제되고 거버넌스가 적용된 데이터를 AI에 즉각 활용할 수 있는 환경을 제공한다”며 “코텍스 AI는 모델, API, 도구 및 거버넌스를 단일 엔터프라이즈급 보안 플랫폼으로 통합하며, 정형 및 비정형 데이터 모두 처리하고 답변을 받을 수 있는 지능형 어시스턴트 구축을 지원한다”고 말했다.

그는 “특히 시맨틱 뷰를 통해 모델과 사람이 데이터의 의미를 이해하는 데 필요한 비즈니스 맥락을 제공한다”며 “이는 대규모언어모델(LLM) 추론과 규칙 기반 정의를 결합해 정확도를 높이고 복잡하게 구조화된 관계를 단순화한다”고 덧붙였다..

스노우플레이크는 AI 모델을 활용해 엔터프라이즈 데이터를 정확하고 효율적으로 검색할 수 있도록 다양한 도구를 제공한다. 코텍스 서치(Cortex Search)는 문서와 비정형 콘텐츠에서 정확하고 빠르게 답변을 가져온다. 이를 통해 리테일 업체의 경우, 고객 지원 에이전트가 티켓을 효율적으로 분류할 수 있는 검색증강생성(RAG) 애플리케이션 구축이 가능하다. 코텍스 애널리스트(Cortex Analyst)는 정형 데이터에서 쿼리를 실행하고 인사이트를 추출한다. 이를 활용하는 제조 기업은 자연어 질문을 통해 장비 사용량과 센서 데이터 분석으로 예측 유지 관리 등을 강화할 수 있다. 도큐먼트 AI는 보고서, 계약서, 인보이스 등의 텍스트를 유용한 인텔리전스로 변환할 수 있어, 보험사의 경우 보험 청구 관련 문서 관리 방식을 간소화할 수 있다.

스노우플레이크는 AI 기반 어시스턴트를 쉽게 구축하고 배포할 수 있는 에이전틱 AI 오케스트레이션 솔루션으로 코텍스 에이전트를 발표했다. 코텍스 에이전트는 사용자 지정 도구 정의와 실시간 데이터 기반 조치 등을 완벽한 거버넌스 하에 제공한다. 현재 퍼블릭 프리뷰로 제공되는 코텍스 AISQL은 텍스트, 이미지, 오디오 등 모든 데이터 유형을 기존 SQL로 처리할 수 있는 멀티 모달 쿼리 언어로, 복잡한 코딩 없이도 일반 사용자들이 AI 엔지니어처럼 작업할 수 있게 한다.

스노우플레이크는 모든 사용자에게 자연어로 데이터에 질문하고 SQL이나 파이프라인 제안을 제공하는 대화형 AI 인터페이스 ‘스노우플레이크 인텔리전스’를 출시한다. 스노우플레이크 UI에 직접 내장된 새로운 유형의 AI 에이전트 앱이다. 스노우플레이크 인텔리전스는 코텍스 AI와 코텍스 에이전트, 코텍스 AISQL 등 다양한 생성형 AI 요소와 모델로 이뤄졌다.

클레이너만 부사장은 “스노우플레이크는 대화형 인텔리전스 구축을 지원하고, 언어 모델, 시각적 모델, 모든 종류의 AI 모델에서 일어나고 있는 다양한 선택과 모든 혁신을 활용할 수 있도록 도우며, 보안과 개인 정보 보호를 염두에 두고 이를 수행할 것”이라며 “AI로 더 많은 일을 할 수 있는 기반은 강력한 데이터 전략, 강력한 데이터 기반을 갖추는 것에서 시작된다”고 말했다.

스노우플레이크의 데이터 거래소인 ‘스노우플레이크 마켓플레이스’는 구조화된 데이터, AI와 언어 모델이 할 수 있는 일과 스키마를 쉽게 확보하게 한다. 비즈니스 사용자가 일상적으로 사용하는 용어와 개념, 스키마의 물리적 현실 사이를 변환하는 방법인 시맨틱 유즈를 통해 구조화된 데이터를 사용하여 대화형 에이전트에서 생성할 수 있는 결과의 정확성을 실질적으로 크게 향상시킨다. 이미 벡터화된 텍스트 데이터인 ‘코텍스 날리지 익스텐션’을 스노우플레이크 마켓플레이스에서 확보해 대화형 AI 에이전트에 연결할 수 있다.

클레이너만 부사장은 “스노우플레이크로 AI를 사용하면 통제된 방식과 안전한 방식으로 AI를 수행할 수 있다”며 “데이터에 권한을 갖고 있다면, 코텍스 AI는 해당 권한을 존중하고 존중하며, 권한 시행, 모델에 대한 역할 기반 액세스 제어, AI 솔루션을 개선하는 방법에 대한 관찰 가능성 및 피드백 루프의 전체를 제공한다”고 말했다.

그는 이어 스노우플레이크 플랫폼에 강화된 데이터 파이프라인을 설명했다. 스노우플레이크는 새로운 데이터 이동 서비스 ‘스노우플레이크 오픈플로우를 공개했다. 스노우플레이크 오픈플로우는 멀티모달 데이터를 스트리밍 방식으로 전송하는 ‘인제스천(ingestion)’ 서비스로 상호운용성을 지원하며 데이터들을 쉽게 통합하고 연결한다. 사전 구축된 확장 가능한 커넥터를 통해 고객들은 AI 모델, 앱, 데이터 에이전트를 스노우플레이크 플랫폼에서 직접 통합할 수 있게 된다. 이로써 단절된 데이터 스택과 반복적인 수작업을 제거하고 데이터 이동 과정을 간소화해 기업들이 더욱 빠르게 AI 기반 혁신을 실현할 수 있다.

오픈플로우는 개방형 표준 기반으로 설계돼 특정 벤더에 종속되지 않고 다양한 아키텍처와 유연하게 연동된다. 아파치 나이파이(Apache NiFi)를 기반으로 구동돼 시스템 간 데이터 흐름을 자동화해 데이터 엔지니어는 몇 분 만에 커스텀 커넥터를 생성하고 스노우플레이크의 관리형 플랫폼에서 실행할 수 있다.

클레이너만 부사장은 “모든 유형의 데이터를 통합할 수 있고, 더 빠른 결과를 얻을 수 있도록 돕는다”며 “스노우플레이크는 데이터의 전체 수명 주기를 포괄해 지원하며 다양한 소스에서 데이터를 수집해, 고품질로 분석하고, AI에도 사용할 수 있게 한다”고 강조했다.

스노우플레이크는 데이터 수집 플랫폼인 ‘스노우파이프 스트리밍’도 업데이트했다. 스노우파이프 스트리밍은 단일 인스턴스로 초당 10GB 이상의 데이터를 푸시할 수 있다. 대기 시간 측면에서 이벤트가 처음 발생한 시점부터 5초에서 10초 이내에 데이터를 쿼리할 수 있도록 준비할 수 있다.

또한 DBT를 활용해 파이프라인에서 데이터 변환 작업을 쉽게 할 수 있다. 스노우플레이크는 DBT를 내부에 통합해 제공하고 있다. 또한 SQL 외 쉽게 변환하는 다이나믹 테이블도 사용가능하다. 데이터 소스에 대한 SQL 쿼리를 지정하고 동적 테이블인 대상 대상을 지정하면 스노우플레이크가 변경 사항을 확인하고, 증분 변경 사항을 처리하고, 대상 테이블을 업데이트하는 모든 무거운 작업을 수행한다.

클레이너만 부사장은 스노우플레이크 플랫폼의 기반도 업그레이드됐다는 점을 강조했다. 스노우플레이크는 지난 6월 2세대 웨어하우스를 출시했다. 차세대 하드웨어와 소프트웨어 최적화를 통해 기존 대비 2.1배 향상된 분석 성능을 제공한다. 오늘날 데이터량과 워크로드가 기하급수적으로 방대해지고 복잡해지면서 기존 컴퓨팅 인프라에서는 병목 현상 및 쿼리 지연이 발생한다. 2세대 웨어하우스는 고도화된 분석 요구를 충족하고 미래를 대비한 데이터 인프라를 구축할 수 있도록 지원한다. 새로운 컴퓨트 서비스인 ‘어댑티브 컴퓨트(프라이빗 프리뷰)’는 리소스 크기 조정, 공유 등 플랫폼 인프라 관리를 자동으로 실행한다.

클레이너만 부사장은 “2세대 웨어하우스는 훨씬 더 빠른 하드웨어에서 실행되며, 모든 소프트웨어 최적화를 담고 있어서 이전 세대보다 2.1배 빠르며, 관리형 스파크 배포와 비교해도 1.9배 더 빠르다”며 “더 빠른 게 더 저렴하고, 더 나은 경제성이 사용자에게 더 나은 통찰력과 결과를 의미한다는 점을 상기시켜 드린다”고 강조했다.

스노우플레이크의 레거시 데이터 플랫폼 이관 부분도 강화됐다. AI를 활용해 데이터 이전을 자동화하는 ‘스노우컨버트 AI’는 테스트 생성 및 검증, 마이그레이션에서 직면하는 여러 문제 해결을 자동화한다.

스노우플레이크는 인터널 마켓플레이스를 통해 조직 내부에서 데이터세트를 공유하고, 파트너사와 안전하게 협업할 수 있는 방안을 제공한다.

클레이너만 부사장은 “스노우플레이크는 현대적인 데이터 아키텍처를 확보하도록 돕고자 하며, 종속되지 않으며 유연한 미래지향적 기술을 제공하고자 한다”며 “스노우플레이크는 10여가지 다른 제품이 아니라 데이터의 유연성과 컴퓨팅의 유연성, AI의 유연성을 갖춘 단일한 통합 데이터 플랫폼”이라고 말했다.

그는 “스노우플레이크를 사용하면 멀티 클라우드를 할 수 있으며, 데이터를 다른 엔진과 상호 운용할 수 있다”며 “아파치 아이스버그 개방형 테이블 포맷을 쓸 수 있고, 데이터 카탈로그도 아파치 폴라리스를 활용할 수 있다”고 말했다.

그는 “스노우플레이크는 컴퓨팅 리소스 유형을 유연하게 선택할 수 있으며, 도커 컨테이너를 호스팅하고 사용자 지정 로직을 실행할 수 있으며, SQL 외에도 파이썬, 자바, 스칼라 등 익숙한 언어를 사용할 수 있다”며 “CPU만 아니라 GPU를 필요로 하는 다양한 사례를 위해 여러 GPU 인스턴스도 제공한다”고 강조했다.

클레이너만 부사장은 이날 기조연설에서 ‘스노우파크 커넥트 포 아파치 스파크’를 출시한다고 발표했다. 스노우플레이크에 스파크 API를 연결해 활용하게 하는 기능이다. 클레이너만 부사장은 “평균적으로 스파크 커넥트를 이용한 파이프라인은 관리형 스파크 솔루션보다 3배 빠르게 실행된다”고 말했다.

그는 마지막으로 스노우플레이크의 데이터 거버넌스를 설명했다. 그는 “스노우플레이크는 호라이즌 카탈로그를 통해 업계에서 가장 포괄적으로 데이터에 대한 정보를 제공할 수 있게 한다”며 “이를 통해 행 수준, 열 수준에서 필터링, 마스킹, 태깅을 통해 데이터가 무엇인지, 데이터의 자동 분류가 무엇인지 알 수 있다”고 말했다.

그는 “호라이즌 카탈로그는 데이터 품질에도 도움을 주므로, AI 이니셔티브에서 좋은 결과를 얻을 수 있게 한다”며 “또한 많은 유연성과 인증 메커니즘, 키, 다중인증 앱을 도입했으며 사용자를 대신해 지속적인 보안 모니터링을 하고 있다”고 덧붙였다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network