“모델은 적절한 컨텍스트 위에, 라우팅은 거버넌스 아래에”

[인터뷰] 바리스 굴테킨 스노우플레이크 AI 부문 부사장

“고객은 여러 모델에 접근하고 모델의 품질과 경제성 변화를 활용하기를 점점 더 원하고 있다. 기업에게 오케스트레이션의 가치는 모델을 둘러싼 환경에도 달려 있다. 모델은 적절한 비즈니스 컨텍스트에 접근할 수 있어야 하며, 라우팅은 기업의 거버넌스 정책을 준수해야 한다. 바로 이 점에서 스노우플레이크가 차별화된다.”

바리스 굴테킨 스노우플레이크 AI부문 부사장은 본지와 서면 인터뷰에서 최근 출시한 ‘다이나믹 모델 라우팅(Dynamic Model Routing)’에 대해 설명하며 AI 오케스트레이션의 중요성을 이같이 강조했다.

바리스 굴테킨 부사장은 “스노우플레이크는 모델이 유용한 작업을 수행하는 데 필요한 거버넌스가 적용된 엔터프라이즈 데이터와 모델 선택 및 라우팅을 결합한다”며 “고객이 멀티 모델 환경을 본격적으로 도입할수록 이러한 통합의 중요성은 더욱 커질 것”이라고 전망했다.

스노우플레이크는 지난 18일 ‘코텍스 AI 게이트웨이’와 스노우플레이크 AI 제품에 ‘다이나믹 모델 라우팅’ 기능을 도입한다고 발표했다. 동시에 스노우플레이크 모델 레지스트리에 딥시크 V4 플래시 0731, GLM-5.3 등 최신 오픈웨이트 모델을 추가해 사용 가능한 모델 포트폴리오를 확대했다.

스노우플레이크 코텍스 AI 게이트웨이는 에이전트 연결을 관리하고, 요청을 지능적으로 라우팅하며, AI 소비를 최적화하는 통합 기반이다. 기업은 AI 애플리케이션과 에이전트를 점점 더 많이 실제 운영 환경에 투입하고 있다. 이 경우 하나의 모델을 모든 작업에 적용할 경우 비용이 급증할 수 있다. 다양한 모델을 도입하려 해도 수많은 모델을 일일이 평가하고 관리하는 일은 개발팀의 업무 부담으로 이어진다. 스노우플레이크는 모델 선택을 자동화하고 폭넓은 오픈 모델과 상용 모델에 대한 접근성을 제공해 이 두 가지 과제를 동시에 해결한다고 강조한다. 다이나믹 모델 라우팅은 덜 복잡하거나 반복적인 작업은 비용 효율적인 모델로, 심층적인 추론이 필요한 작업은 프론티어 모델로 배분한다. 이에 따라 고객은 요청마다 모델을 직접 선택 및 관리할 필요 없이 불필요한 추론 비용을 줄일 수 있다.

Q. AI 투자의 ROI 확보가 어렵고, 과잉 투자를 걱정하는 인식이 퍼지고 있다. 기업의 AI 채택은 지금 어떤 도전과제를 갖고 있나?

최근 몇 달 사이 더 많은 기업이 AI를 보다 광범위한 프로덕션 환경에 적용하면서 논의의 초점도 달라졌다. 기업이 이 단계에 이르면 경제성이 훨씬 더 명확하게 드러나는 경향이 있다. AI를 어떻게 배포할지 고민하는 대신, 고객은 AI에서 얻는 가치가 투자를 정당화하는지의 문제를 본격적으로 검토하기 시작한다. 스노우플레이크는 이를 ‘인텔리전스 효율성(intelligence efficiency)’, 즉 기업이 모델, 데이터, 컨텍스트 및 컴퓨팅에 대한 투자를 얼마나 효과적으로 비즈니스 가치로 전환하는지의 관점에서 바라본다.

고객의 과제는 필요한 품질을 유지하면서 AI 비용을 절감할 방법을 찾는 것이다. 또한 고객은 더 빠른 응답과 더 낮은 운영 복잡성을 원한다. AI가 파일럿 단계에서 대규모 배포로 전환될수록 이러한 압박이 누적되고 그 중요성도 훨씬 커진다.

Q. 최첨단 AI 모델은 갈수록 성능에 비례해 토큰 가격을 올리고 있다. 반면, 중국계 오픈웨이트 모델이 뛰어난 가격 경쟁력과 선두 모델에 근접한 성능을 보이고 있다. 이런 상황의 시사점은 무엇일까?

이는 전반적으로 기업에 긍정적인 변화로 보인다. 모델 생태계 전반의 경쟁은 가격 대비 성능을 향상시키고 고객의 선택 폭을 넓힌다. 오픈 모델은 빠르게 발전하고 있으며, 많은 워크로드에서 훨씬 낮은 비용으로 우수한 결과를 제공할 수 있다. 작업당 비용이 낮아지면 경제성을 확보할 수 있는 AI 활용 사례도 늘어나게 된다.

뿐만 아니라 기업이 유연한 모델 선택 방식을 갖춰야 한다는 의미이기도 하다. 모델의 성능과 가격은 매일 변하기 때문에 오늘 특정 작업에 가장 적합한 모델이 내일은 그렇지 않을 수 있다. 기업은 환경이 바뀔 때마다 새로운 모델을 중심으로 애플리케이션을 다시 구축하지 않고도 이러한 변화를 활용할 수 있어야 한다. 스노우플레이크가 모델 선택지를 확대하고 다이나믹 모델 라우팅(Dynamic model routing)에 투자하는 이유는 바로 여기에 있다.

Q. 워크로드에 따른 AI 모델 선택이 왜 중요한가?

모든 작업에 최고 성능의 모델을 사용하면 불필요하게 많은 비용이 들 수 있기 때문에 중요하다. 매우 단순한 질문이 최고 성능의 모델로 전달돼 비용이 증가하고 응답 속도가 느려지는 사례가 있었다. 이러한 요청에는 보다 효율적인 모델이 더 낮은 비용으로 고객이 필요로 하는 품질을 제공할 수 있는 경우가 많다.

동시에 품질을 희생하면서 비용을 낮출 수는 없다. 라우팅의 가치는 각 작업에 적합한 모델을 선택해 품질과 비용 사이에 적절한 균형을 이루도록 하는 데 있다. 일부 워크로드는 더 효율적인 모델로 보낼 수 있지만, 다른 워크로드에는 더 높은 수준의 추론이 필요하다. 모델 환경 역시 빠르게 변하고 있다. 모델 라우팅을 활용하면 기업은 이러한 결정을 일일이 관리할 필요 없이, 모델의 성능과 경제성이 변화함에 따라 최신 기술 발전의 이점을 계속 활용할 수 있다.

Q. 효율성 외에 스노우플레이크는 엔터프라이즈 인텔리전스에서 어떤 점에서 기여할 수 있나?

AI는 적절한 엔터프라이즈 컨텍스트를 갖추고 기업의 거버넌스 정책 안에서 작동할 때 훨씬 더 유용해진다. 스노우플레이크가 강점을 발휘할 수 있는 영역이 바로 이 두 가지다.

많은 고객이 이미 자사의 데이터를 스노우플레이크에 맡기고 있기 때문에, 스노우플레이크는 AI 모델과 에이전트에 더욱 풍부한 비즈니스 컨텍스트를 제공해 보다 정확한 결과를 생성하도록 지원할 수 있다. 이러한 컨텍스트를 제공하면 모델이 수행해야 하는 작업량도 줄일 수 있어 효율성이 높아진다. 동시에 기업은 AI 시스템이 접근하고 수행할 수 있는 범위를 통제해야 한다. 스노우플레이크는 데이터에 적용되던 고객의 기존 거버넌스를 모델과 에이전트까지 확장해, AI가 고객이 이미 수립한 정책 안에서 작동하도록 지원한다. 컨텍스트와 거버넌스의 이러한 결합은 기업이 광범위하게 배포할 수 있는 엔터프라이즈급 AI를 구축하는 데 핵심적인 요소다.

Q. 기업은 스노우플레이크를 통해 AI 모델에 어떻게 접근할 수 있나?

주요 경로는 완전 관리형 서비스인 스노우플레이크 코텍스 AI다. 코텍스 AI 기능(Cortex AI Functions)을 통해 사용자가 SQL에서 데이터에 직접 모델을 적용할 수 있다. 코텍스 인퍼런스(Cortex Inference)란 단일 API 엔드포인트를 통해 엔트로픽, 오픈AI, 미스트랄, 딥시크 등의 프론티어 모델에 접근 가능하다. 그리고, 비즈니스 워크플로우를 위한 스노우플레이크 코워크(Snowflake CoWork)와 코딩을 위한 스노우플레이크 코코(Snowflake CoCo)가 포함된다.

자체 모델을 실행하려는 고객은 스노우플레이크 모델 레지스트리(Snowflake Model Registry)를 통해 오픈소스 모델, 허깅페이스 모델 또는 자체 개발 모델 등 어떤 모델이든 가져와 관리할 수 있다. 해당 모델은 온디맨드 GPU 컴퓨팅을 제공하는 스노우파크 컨테이너 서비스(Snowpark Container Services)에서 실행되며, 모든 과정은 고객의 스노우플레이크 계정 내에서 이루어진다.

모든 것은 스노우플레이크의 보안 및 거버넌스 경계 안에서 되기 때문에 모델에 접근하기 위해 고객 데이터가 외부로 나가지 않으며, 추론이 이뤄지기 전에 기존 액세스 제어가 적용된다.

Q. 기업이 스노우플레이크를 통해 AI를 활용하려 할 때 가용할 수 있는 모델의 포트폴리오가 부족해보인다. 사용자는 막 출시된 최신 버전의 AI 모델을 바로 활용하고자 하는 욕구가 강할 텐데, AI 서빙에서 스노우플레이크의 준비를 기다려야 하는 것인가?

스노우플레이크는 수백개의 모델을 나열하기보다 가장 우수한 모델 가운데 거버넌스가 적용된 모델 세트를 엄선하는 방식을 의도적으로 택했다. 고객 수요를 바탕으로 모델을 선정하며, 스노우플레이크의 라인업은 기업이 일상 업무에서 실제로 사용하는 모델을 반영한다. 현재 상용 모델과 오픈소스 모델 전반의 주요 제공업체를 아우르며, 모든 모델을 단일 통합 엔드포인트를 통해 이용할 수 있다. 고객이 스노우플레이크 카탈로그에 없는 모델을 필요로 할 경우 스노우파크 컨테이너 서비스를 통해 어떤 오픈소스 모델이든 직접 호스팅할 수 있다. 따라서 실제 선택 범위는 호스팅 모델 목록보다 훨씬 넓은 것이다.

새로운 모델에 얼마나 빠르게 접근할 수 있는지와 관련해, 스노우플레이크는 새로운 프론티어 모델을 출시와 동시에 제공하는 방식을 취하고 있다. 이를 통해 고객은 앤트로픽, 오픈AI와 같은 제공업체의 최신 혁신을 즉시 활용할 수 있다.

Q. 코텍스 AI 게이트웨이의 다이나믹 모델 라우팅을 구체적으로 설명해달라.

코텍스 AI 게이트웨이의 다이나믹 모델 라우팅은 고객이 승인한 모델과 품질 및 비용 등 고객이 중시하는 요소 간의 균형을 바탕으로 각 작업에 가장 적합한 모델을 자동으로 선택한다. 이는 기업이 워크로드마다 필요한 품질을 유지하면서도 모든 작업에 가장 비싼 모델을 사용하는 일을 피하도록 설계됐다.

사용 가능한 모델과 제공업체는 계속해서 고객이 통제하며, 스노우플레이크는 고객이 정한 범위 안에서 모델 선택을 처리한다. 모델 성능과 가격이 변하면 코텍스 AI 게이트웨이는 고객이 애플리케이션이나 에이전트를 다시 구축할 필요 없이 라우팅 결정을 조정할 수 있다. 이 기능은 코코, 코워크 및 코텍스 AI 게이트웨이를 사용하는 서드파티 에이전트와 통합돼 있고, 이를 통해 고객은 기존 에이전트에 이러한 최적화를 적용하고 대규모 환경에서 불필요한 AI 지출을 줄일 수 있다.

이 기능은 단순한 질문도 불필요하게 고성능 모델로 전달되는 상황이 발생하는 것을 해결하기 위해 개발됐다. 이로 인해 비용과 지연 시간이 모두 늘어났으며, 다이나믹 라우팅은 품질을 최우선으로 유지하면서 경제성을 개선하는 데 도움이 된다.

Q. 코텍스 AI 게이트웨이의 모델 라우팅은 코텍스 에이전트의 모델 오케스트레이션 ‘Auto’ 설정과 어떻게 다른가?

코텍스 AI 게이트웨이의 자동 모델 라우팅과 코텍스 에이전트에서 모델 오케스트레이션 ‘Auto’ 설정으로 하는 모델 라우팅은 두 가지 별도 기능이 아니라 적용 범위가 다른 동일한 기능이다. 지금까지 코텍스 에이전트의 ‘Auto’는 정적 라우팅을 사용해왔다. 즉, 사용 가능한 모델 중 품질이 가장 높은 모델을 선택하고, 새로운 모델이 제공되면 해당 모델로 업그레이드하는 방식이었다.

코텍스 AI 게이트웨이에 다이나믹 모델 라우팅이 추가되면서 이제 ‘Auto’도 다이나믹 방식으로 전환된다. 요청은 비용, 지연 시간 및 작업 복잡성을 바탕으로 실시간 라우팅 되는 것이다. 코코나 코워크에서 이미 Auto를 선택한 고객은 설정을 변경하지 않아도 이 기능을 자동으로 이용할 수 있다.

코텍스 AI 게이트웨이는 스노우플레이크 자사 제품 밖에서 운용되는 시스템도 동일한 기능을 이용할 수 있도록 API로 제공한다. 기업은 서드파티 에이전트, 외부 파이프라인 또는 코텍스 AI 게이트웨이를 호출하는 모든 AI 시스템에 동일한 다이나믹 라우팅을 적용할 수 있다.

이번 출시로 Auto 모드는 더욱 스마트해졌으며, 코텍스 AI 게이트웨이는 이 기능을 스노우플레이크의 자체 제품을 넘어 서드파티 에이전트까지 확장한다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network