스노우플레이크 “내년 AI 옵저버빌리티 문제 대두될 것”

최기영 스노우플레이크코리아 사장은 10일 개최한 기자간담회에서 “내년 AI와 데이터 산업을 전망하면 AI의 프로덕션으로 이동 속에서 AI 앱에 대한 옵저버빌리티의 필요성이 본격적으로 대두될 것”이라며 “AI에서 발생하는 문제를 감지하고 진단해 어떻게 해결할 지에 대한 것”이라고 밝혔다.

최기영 사장은 “파일럿이나 개념검증에서 AI 앱의 정적 데이터를 활용하는 것과 달리, 실제 현업 시스템의 동적 데이터에서 옵저버빌리티를 확보하는 것이 만만치 않다”며 “만약 데이터 플랫폼이 잘 기반을 이룬다면 AI 옵저버빌리티도 쉽게 갈 수 있다”고 강조했다.

2023년부터 수립되기 시작된 각 기업의 생성형 AI 전략은 이제 파일럿 단계를 넘어 현업 운영 단계로 넘어가고 있다. 스노우플레이크는 이런 가운데 데이터의 가시성, 거버넌스, 보안 등에서 진화된 접근방식을 요구받는다고 전망했다. 보안과 거버넌스를 위한 새로운 지원 인프라 계층뿐 아니라 파일럿 단계의 정적 데이터세트에서 필요하지 않았던 가시성이라는 새로운 상위 계층이 필요해진 것이다. 이는 플랫폼의 신뢰성, 투명성, 실행성 측면에서 필수요소로, 갈수록 데이터가 쌓이고 기업 내부 정책이 늘어나면 더욱 중요해진다.

스노우플레이크는 데이터 환경을 단순화하고 AI 개발과 애플리케이션 구축을 가속할 수 있도록 플랫폼과 AI 기능을 강화했다. 특히 스노우플레이크 코텍스 AI(Cortex AI)와 스노우플레이크 ML 등이 강화됐다. 스노우플레이크 코텍스 AI는 생성형 AI 및 자연어 처리(NLP), 멀티모달 데이터 분석을 지원해 고품질 대화형 애플리케이션 구축과 AI 프로젝트 비용 절감을 돕는다. 스노우플레이크 ML은 GPU 기반 컨테이너 환경과 대규모 추론 작업을 위한 처리량 개선으로 ML 개발 속도와 성능을 향상했다.

이수현 스노우플레이크 에반젤리스트는 “AI 옵저버빌리티는 LLM의 답변 정확성을 지속적으로 평가하고, 모델의 작동을 이해하며, 성능을 모니터링하는 것”이라며 “스노우플레이크는 20개 이상의 메트릭을 개발해 프롬프트 평가나, 여러 모델의 성능을 비교하는 등의 기능을 제공한다”고 말했다

스노우플레이크는 AI 가시성 분야에서 시스템 성능뿐 아니라 대형언어모델(LLM) 결과값의 정확도, 윤리성, 데이터 보안 등의 문제를 포함해야 한다고 설명한다.

많은 전문가와 보고서가 내년 AI 분야의 핫 트렌드를 ‘AI 에이전트’로 꼽는다. 스노우플레이크도 내년 AI 에이전트가 각 산업에서 강력한 역할을 하게 될 것으로 전망했다.

최 사장은 “올해 작은 범위에서 사례가 기업시장에서 만들어졌다면, 내년은 산업별로 킬러앱이 나올 것이라고 생각한다”고 말했다.

스노우플레이크는 그동안의 생성형 AI가 반복적이고 간소화 및 자동화가 필요한 작업을 처리할 수는 있지만, 추론, 계획수립, 높은 수준의 정교함을 요구하는 작업에는 적합하지 않다고 평가한다. 이에 따라 차세대 AI 의 성능 척도는 기존과 달리 단순히 문제를 풀어내는 수준에서 나아가 다단계 계획 수립과 문제 해결까지 통합적으로 수행 가능할지를 기준으로 하게 될 것이라고 전망했다.

스노우플레이크는 엔터프라이즈 AI를 위한 데이터 에이전트 ‘스노우플레이크 인텔리전스’를 발표했다. 스노우플레이크 인텔리전스는 기업 임직원이 데이터를 기반으로 한 비즈니스 질문을 자연어로 던져 답변을 얻을 수 있게 하는 기능이다. 셰어포인트, 슬랙, 세일즈포스, 구글워크스페이스 등의 외부 툴과 사내 데이터를 모두 연결하고, 스우플레이크 인텔리전스를 통해 단일 통합 플랫폼에서 결과를 분석, 요약, 실행할 수 있는 데이터 에이전트를 쉽게 만들 수 있다.

이수현 에반젤리스트는 “스노우플레이크 인텔리전스는 에이전틱 AI로 발전할 수 있는 이상적 환경을 제공한다”며 “코텍스 챗 API는 단일 REST API로 원하는 프론트엔드를 연결하고, 정형 및 비정형 데이터의 필요를 LLM이 알아서 판단해 뽑아와 답변으로 제공하게 한다”고 설명했다.

스노우플레이크는 트랜잭션(OLTP)과 분석(OLAP) 데이터를 통합 관리할 수 있는 ‘유니스토어(Unistore)’를 정식 출시했다. 유니스토어는 하이브리드 테이블(Hybrid Tables)을 기반으로 설계돼 데이터 아키텍처를 단순화하고, 데이터 전반에서 일관된 보안과 거버넌스를 유지하면서 트랜잭션과 분석 워크로드를 동시에 처리한다. 실시간 애플리케이션 상태 관리, 데이터베이스 간 이동 없는 저지연 데이터 제공, 경량 트랜잭션 애플리케이션 구축 등의 이점을 활용할 수 있다. 유니스토어를 통해 데이터 보호 부담을 덜 수 있으며, 이미 지멘스 AG과 같은 글로벌 기업은 유니스토어를 활용해 데이터 품질과 일관성을 높이고 동시성 문제를 해결하며 데이터 아키텍처를 최적화하고 있다.

이수현 에반젤리스트는 “유니스토어는 데이터 읽기와 쓰기가 빈번하게 발생하며 일관성을 유지해야 하는 트랜잭션 데이터와 분석용 데이터를 통합해 ‘상태(state)’를 저장하면서 동시에 분석도 가능하게 해준다”며 “가령 이커머스 영역에서 사용자의 장바구니 데이터를 저장하는 동시에 어떤 물건이 장바구니에 많이 담겼는지 분석도 할 수 있게 되는 것”이라고 설명했다.

스노우플레이크는 데이터 플랫폼 진화의 다음 단계를 데이터의 ‘맥락화’라고 봤다. 데이터 플랫폼의 진화는 AI 의 발전과 LLM 이 처리하는 데이터를 더 잘 이해하도록 만드는 돌파구를 마련하는 데 필수적이다. 오늘날의 데이터 플랫폼은 데이터 의미를 이해하는 ‘시맨틱 레이어(semantic layer)’에서 부족함을 보인다. 예를 들어, 테이블에 금융 데이터가 있을 때, 데이터의 출처, 계산 방식, 의미를 이해하는 것은 개발자와 분석의 몫이다. 그러나 시맨틱 레이어는 데이터의 본질을 AI 가 이해할 수 있도록 데이터를 가깝게 연결시키는 중요한 요소다. 이를 통해 AI가 더 정교한 결과를 출력할 수 있게 된다. 매번 애플리케이션마다 시맨틱 개념을 새롭게 정의하는 것은 비효율적이다. 대신, 이러한 시맨틱 개념을 데이터 계층으로 밀어 넣는 형태가 다음 단계일 것이라고 전망했다.

최 사장은 “자연어로 정보를 획득하는 앱을 만들 때 LLM 접근 방식에 따라 환각 문제가 커질 수 있다”며 “API 형태로 데이터를 기업 외부의 LLM으로 보내는 구조에선 환각 리스크가 더 크지만, 데이터 플랫폼 상에서 LLM을 함께 운영하면 더 안정된 검색증강생성(RAG)를 만들어 환각을 잘 극복하게 된다”고 말했다.

스노우플레이크는 내년에도 오픈소스 기술이 AI를 가속할 것이라고 전망했다. 조직은 점점 더 커지는 데이터세트를 효율적으로 관리하고 분석할 방법을 모색하고 있다. 이에 개방형 테이블 포맷 ‘아파치 아이스버그’의 강력한 커뮤니티가 뛰어난 기능과 유연성을 기반으로 주류 채택에 유리한 위치를 차지했다. 아이스버그는 다양한 데이터 소스를 관리하기 위한 일관된 테이블 형식을 제공하는 통합 데이터레이크, 실시간 데이터 수집, 스키마 진화 등의 측면에서 다양한 강점을 가졌다.

이런 수요는 상호운용성(interoperability)에 대한 수요는 개방형 표준의 채택, 데이터 민주화, 생태계 협업을 가속한다. 아이스버그의 성공은 오픈 소스 분야의 다른 주요 트렌드에도 영향을 미칠 것으로 예상된다. 아이스버그를 세계가 주목하는 이유는 데이터 처리 엔진과 스토리지 시스템 간의 상호운용성 수요를 충족시킨다는 점 때문이다. 이 기능은 벤더 종속성을 벗어난 솔루션의 이점을 제공하며, 개방형 표준 채택에 더 큰 동력을 제공한다.

최 사장은 “산업의 표준을 만들 때 각 기업과 서비스제공업체의 이해관계가 서로 달라 표준을 만드는 건 사실상 힘들다”며 “오픈소스는 그런 측면에서 산업 표준화에 대한 실질적 역할을 하게 될 것”이라고 설명했다.

스노우플레이크는 아파치 아이스버그와 데이터 레이크하우스 기능 강화로 데이터 거버넌스를 개선했다. 트러스트 센터와 API 인증 보안 기능을 통해 보안도 강화했다. 이외에도 문서 전처리 기능, 지식 베이스 통합, 모델 파인튜닝, 대화형 앱 신뢰성 개선, 데이터 분석 강화 등의 기능을 제공한다.

이수현 에반젤리스트는 “아이스버그는 높은 상호윤용성 덕분에 플링크, 스파크, 스노우플레이크 등 다양한 쿼리 엔진을 선택해 사용할 수 있다는 장점이 있다”며 “그러나 여러 쿼리 엔진을 활용하면 각 데이터를 정의하고 그 위치를 지정하는 카탈로그를 따로 만들어야 하는 운영 복잡성이 단점”이라고 설명했다.

그는 “스노우플레이크는 이런 여러 카탈로그를 관리해야 하는 복잡성과 중복 문제를 해결할 수 있도록 폴라리스 카탈로그를 올해 공개했다”며 “지난달 폴라리스 카탈로그는 아파치재단에 기부돼 아파치 아이스버그로 바뀌었으며, 스노우플레이크플랫폼에선 오픈카탈로그란 서비스로 지난달 정식 출시됐다”고 말했다.

그동안 생성형 AI는 실무 담당자에게 더 많은 의미를 가졌다. 내년부터 기업 최고위임원 차원에서도 생성형 AI가 더 많이 활용될 것으로 전망된다.

최기영 사장은 “엔터프라이즈 기업에서 임원의 AI 활용으로 비즈니스 효과를 보는 사례가 내년 등장할 것”이라고 말했다.

스노우플레이크는 내년 AI를 사용한 사이버 공격의 대상이 ‘모델’ 그 자체일 수 있다고 경고했다. 이 때문에 ‘보안 데이터레이크’의 중요성이 커질 것이라고 전망했다. 보안 데이터레이크는 다양한 소스에서 수집한 대량의 보안 데이터를 저장하며 로그, 이벤트 및 기타 보안 정보를 통합해 고급 분석, 위협 탐지, 사고 대응, 장기 보존에 활용한다. 유연성과 확장성이 보안 데이터레이크의 주요 장점이다. 사이버보안 툴링(tooling)에 대한 모듈식 접근 방식의 일환으로, 보안 데이터 레이크는 AI 시대 보안에 필수적인 요소로 자리 잡을 것이라고 스노우플레이크는 예상했다.

또한 AI 보안 코파일럿이 조직의 보안 역량을 확장할 것으로 전망했다. 보안 운영 센터가 직면하는 방대한 잠재적 사건을 AI로 처리하는 새로운 코파일럿 도구는 초급 분석가의 효율성을 높일 것으로 기대되지만, 동시에 우려도 수반된다. 코파일럿 도구는 저작권 문제가 있을 가능성이 있는 모델 코드나 사본 내 포함될 위험을 가져올 수 있고 이를 방지하기 위해서는 일정 수준의 규율이 필요하다고 스노우플레이크는 조언했다.

최 사장은 “생성형 AI가 공격에도 쓰이고 방어에도 쓰이지만, 일단은 보안 강화이란 측면에서 더 긍정적 영향을 미칠 것”이라며 “LLM은 보안에서 필요한 많은 일을 효율화하는데 계속 기여할 것”이라고 밝혔다.

스노우플레이크는 기업 내부에서 AI 모델과 데이터, 네이티브 앱 등을 안전하게 공유하고 활용할 수 있는 ‘내부 마켓플레이스(Internel Marketplace)’를 정식 출시했다. 내부 마켓플레이스는 조직 내 다양한 팀과 사업 부문에서 보유한 데이터, 앱, AI 제품 등을 손쉽게 검색하고 활용하게 돕는다. 동시에 보안과 거버넌스 수준을 강화해 안전한 데이터 활용 환경을 제공한다. 또, 스노우파크 컨테이너 서비스와 네이티브 앱 프레임워크 통합으로 AI 기반 앱 개발 과정을 간소화해 운영 부담을 줄이고 상용화 속도를 높일 수 있도록 돕는다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network