KT, AI 모델 통합 플랫폼 ‘토큰팩토리’ 공개…30일 출시

KT(대표 박윤영)는 27일 AI 모델 선택부터 사용량·비용 관리, 데이터 보호까지 지원하는 플랫폼 ‘KT 토큰팩토리(KT Token Factory)’를 공개했다. 국내외 500개 이상의 AI 모델을 통합 제공하며, 오는 30일부터 기업 고객을 대상으로 서비스를 시작한다.

토큰팩토리는 업무 목적과 비용, 보안 요구에 따라 AI 모델을 선택하고 이용 현황과 결제 내역을 관리하는 플랫폼이다. KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스에 적용했다고 설명했다.

AI 모델은 번역·요약·코딩·추론 등 분야별로 강점이 다르고 성능과 비용도 차이가 있다. 이에 따라 업무 목적과 요구 품질에 맞춰 모델을 선택하는 방식이 기업의 AI 활용 과제로 떠오르고 있다. KT는 다양한 AI 모델 출시와 인공지능 전환(AX) 사업 성장으로 글로벌 AI 토큰 소비량이 최근 1년 동안 약 35배 증가했다고 밝혔다.

KT는 임직원 500명 규모의 글로벌 연구개발(R&D) 기업을 사례로 들었다. 이 기업은 업무 생산성을 높이기 위해 글로벌 AI 모델을 기업용 계정으로 이용하고 있다. 그러나 단일 모델로 다양한 업무 요구를 충족하기 어려워지면서 임직원과 부서별로 여러 모델을 구독하는 사례가 늘고 있다. 이에 따라 기업 차원에서 모델별 이용 현황과 토큰 사용량, 비용을 통합 관리할 필요성이 커지고 있다는 설명이다.

토큰팩토리는 여러 AI 모델의 가입부터 사용량 확인, 비용 관리, 결제까지 한곳에서 처리하도록 구성됐다. 고객은 모델별 이용 환경을 따로 관리하지 않고 업무 목적과 비용, 보안 요구에 맞춰 서비스를 이용할 수 있다. KT는 통신 과금 역량을 바탕으로 사용량에 따른 토큰 과금 체계를 적용하고 데이터 보호 기능도 제공한다.

토큰팩토리에는 KT가 자체 개발한 AI 모델 라우팅 기술 ‘오토 모델 라우터(Auto Model Router)’가 적용됐다. 단순 업무에는 상대적으로 가벼운 모델을, 복잡한 분석에는 고성능 모델을 배정하는 방식이다. 질문의 업무 유형과 난이도, 요구 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 종합해 적합한 모델을 선택한다.

KT는 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘라우터아레나(RouterArena)’에서 오토 모델 라우터가 종합 1위를 기록했다고 밝혔다. 다만 보도자료에는 평가 시점과 세부 평가 기준, 비교 대상에 관한 구체적인 내용은 담기지 않았다.

프롬프트 압축 기술도 플랫폼에 적용됐다. 한국어 특성을 고려해 입력 문장의 불필요한 반복 표현을 제거하고 내용을 압축하는 방식이다. KT는 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄여 처리 효율을 높이고 비용 부담과 응답 시간을 낮출 수 있다고 설명했다.

KT는 자체 개발한 모델 라우팅과 프롬프트 압축 기술을 통해 토큰 사용량을 최대 25% 줄일 수 있다고 밝혔다. 회사 측은 같은 업무 품질을 유지하면서 운영 효율을 높여 기업의 AI 도입과 AX 전환을 지원한다는 방침이다.

토큰팩토리는 KT 데이터센터에서 AI 추론 서비스를 제공한다. 해외 AI 서비스 이용 과정에서 발생할 수 있는 데이터 주권 우려를 줄이기 위한 조치라는 게 KT의 설명이다.

KT는 국내 인프라를 기반으로 자체 모델과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델(독파모)을 함께 활용할 수 있는 환경을 구축했다. 오픈웨이트 모델은 공개된 모델 가중치를 활용할 수 있어 다양한 업무에 적용할 수 있지만, 기업이 실제 업무에 도입하려면 데이터 보안과 이용 과정의 안전성도 고려해야 한다.

이를 위해 KT는 모델 평가체계와 자체 가드레일(Guardrail) 기술을 적용했다. 이용자가 입력한 프롬프트에서 개인정보와 민감정보, 유해 표현을 점검하고 AI가 생성한 답변도 검사하는 방식이다. KT는 한국어 환경에 맞춘 가드레일 기술을 지속적으로 개선하고 있으며, 앞으로 고객별 업무 환경과 보안 요구에 따라 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확장할 계획이다.

KT는 이를 통해 보안과 데이터 관리 요건이 엄격한 산업 현장과 기업에서도 다양한 AI 모델을 활용할 수 있도록 지원할 예정이다. 고객은 업무 목적에 따라 모델을 선택하면서도 데이터 관리와 보안 요구를 반영할 수 있다.

KT는 글로벌 AI 게이트웨이 플랫폼이자 AI 모델 마켓플레이스 사업자인 ‘오픈라우터’와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 토큰팩토리에서 연계할 수 있는 글로벌 AI 모델 500개 이상을 확보했다고 밝혔다. KT 자체 추론 모델과 글로벌 AI 모델을 함께 제공하는 방식이다.

양사는 오픈라우터의 글로벌 AI 모델과 KT의 국내 인프라 및 소버린 AI 모델을 연계할 계획이다. KT는 자사 플랫폼에서 제공하는 AI 모델의 해외 유통도 추진한다. 토큰팩토리를 국내외 AI 모델과 이용자를 연결하는 플랫폼으로 운영한다는 구상이다.

KT는 출시 초기 여러 AI 모델을 활용하면서 비용을 관리하려는 기업 고객을 대상으로 서비스를 제공한다. 이후 고객과 서비스 범위를 단계적으로 확대할 계획이다.

협력사도 늘린다. KT는 AI 코딩·에이전트 분야의 유라클과 캐스트AI, 기업용 AI 워크스페이스 분야의 타임리 등 국내외 기업과 협력을 확대한다. 업스테이지와 다음을 비롯한 ‘모두의 AI’ 컨소시엄 참여사들과도 협력을 강화할 예정이다. AI 인프라부터 모델 활용, AI 서비스까지 연결하는 파트너 생태계를 조성하고 해외 시장으로 사업 범위를 넓힌다는 계획이다.

박상원 KT AX사업부문장(전무)은 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network