코히어, 토큰 종량제 대신 정액제·소형 모델로 B2B 공략

“도입 예산으로 한 달에 200만달러를 책정했는데 나중에 1000만달러 청구서가 날아와 크게 당황했다는 미국 대형 은행 최고재무책임자(CFO)의 하소연을 들었습니다.”

장화진 코히어(Cohere) 아시아태평양 총괄 대표 사장은 5일 서울 중구 웨스틴조선호텔에서 열린 기자간담회에서 기업이 직면한 AI 과금 구조의 한계에 대해 이같이 말했다. 기자간담회는 아시아태평양 지역 사업 확대 전략을 공유하고 소버린 AI 플랫폼의 비용 효율성을 알리기 위한 목적으로 열렸다.

현재 대다수 거대언어모델(LLM) 공급사는 데이터 처리 단위인 토큰 사용량을 기준으로 요금을 매긴다. 사용자가 질문을 던지고 답변을 받을 때마다 실시간으로 비용이 발생하는 시스템이다. 전사적으로 기술을 도입할수록 사용량이 급증해 기업 입장에서는 정확한 IT 예산을 세우기 어렵다는 의견도 존재한다.

코히어는 토큰 과금 방식을 버리고 전체 사용자 또는 동시 접속자 수를 기준으로 삼는 1년 단위 정액 요금제를 대안으로 내놨다. 직원이 하루 종일 시스템을 사용해도 추가 비용을 청구하지 않는다. 장 사장은 업무 난이도에 맞춰 가벼운 모델을 골라 쓰는 맞춤형 적용 전략이 투자수익률(ROI)을 높이는 요소라고 덧붙였다.

이를 뒷받침하는 기술적 기반이 자체 에이전틱 AI 플랫폼 ‘노스(North)’다. 이 플랫폼은 단순한 행정 업무에 1000억개 매개변수 규모의 작고 효율적인 모델을 자동 배정한다. 이는 엔비디아 칩 2개만으로도 구동되는 수준이다. 간단한 업무에는 소형 모델을 배정하고, 깊은 추론이 필요한 복잡한 작업에만 대형 모델을 제한적으로 투입해 불필요한 컴퓨팅 자원 낭비를 막는 방식이다.

보안 규제가 엄격한 기업을 위한 인프라 환경도 별도로 지원한다.

코히어에 따르면 솔루션은 외부 인터넷망과 완전히 차단된 폐쇄망(에어갭) 환경에서도 작동한다. 기업 내부 데이터센터에 모델을 구축하고 내부 데이터베이스(DB)와 안전하게 연결해 데이터 유출 가능성을 원천 차단하는 원리다.

이를 기반으로 LG CNS 등 국내 기업과 손잡고 맞춤형 모델 개발과 플랫폼 연동 프로젝트를 진행 중이라고 덧붙였다.

해외 시장에서도 대규모 도입 성과가 나타나고 있다.

캐나다 왕립은행(RBC)은 임직원 5만명을 대상으로 전용 플랫폼을 배포했으며 실제 접속해 업무에 활용하는 활성 이용자 수는 4만5000명에 달한다. 사우디아라비아 통신사 에스티씨(STC) 역시 내부망에 150여개의 맞춤형 에이전트를 개발해 2만명이 넘는 직원이 활용하고 있다.