벤치마크 1위 모티프 탈락…독파모, 성능보다 ‘사용성’ 봤다

글로벌 벤치마크 평가 1위를 기록한 모티프테크놀로지스(모티프)가 정부 주관 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 2차 단계평가에서 탈락했다. 사용자 평가에서 상대적으로 높은 점수를 확보한 업스테이지와 SK텔레콤, LG AI연구원이 3차 단계 진출을 확정했다. 실험실 환경의 기술 점수보다 실제 서비스 적용 능력을 확인하는 사용성이 최종 결과를 갈랐다.

지난 18일 과학기술정보통신부(과기정통부)가 공개한 평가 지표는 벤치마크 40점, 전문가 35점, 사용자 25점으로 구성됐다. 벤치마크는 AI 성능을 숫자로 측정하는 시험이다.

이번 평가에 참여한 4개 정예팀 모델은 모두 글로벌 AI 모델 평가 전문 플랫폼 아티피셜 어낼리시스 지능 지수(AAII)에서 31점 이상을 획득했다. 이는 유럽과 캐나다 등 주요 모델을 추월한 수치로, 한국이 미국과 중국에 이어 글로벌 AI 3강 지위에 오르는 데 기여했다.

또 이들 4개 모델은 미국 비영리 AI 연구기관 에포크 AI의 ‘2026년 주목할 만한 AI 모델’ 명단에도 모두 이름을 올렸다.

각 영역별 1위와 4위 점수 차이는 벤치마크 4.0점, 전문가 2.4점, 사용자 5.0점을 기록했다. 40점 만점인 벤치마크 평가의 경우 총점 30점을 넘긴 기업이 나오지 않았다.

일반 국민 185명과 AI 전문가 49명 등 총 234명이 참여한 사용자 평가에서 점수 격차가 가장 크게 벌어졌다. 과기정통부에 따르면 일반 국민 평가의 경우 특정 기업 몰표를 걸러내는 등 정밀 검증을 거쳤으며 평가 결과에 결정적 영향을 미치지는 않은 것으로 확인됐다.

고난도 벤치마크 평가에서 1위를 기록하며 기술력을 증명한 모티프는 사용성 지표 한계로 평가를 통과하지 못했다. 이날 과기정통부는 모티프가 활용성 측면에서 다른 모델에 비해 낮은 점수를 받았다고 설명했다.

모티프는 아키텍처, 토크나이저, 옵티마이저 등 핵심 기술을 자체 개발한 ‘Motif 3’ 모델로 글로벌 AI 성능 지표(AAII)에서 47점을 받아 미국·중국 외 국가 1위에 올랐다. 이 모델은 수학과 코딩, 에이전트 능력을 단일 모델로 통합한 에이전트 특화 모델이다.

이 점이 모티프의 강점이자 약점이 됐다. 이번 2차 단계평가에서는 기술 점수보다 사용자의 편의성과 산업 현장 활용성을 가장 중요하게 평가했기 때문이다.

임정환 모티프 대표는 카카오와의 컨소시엄 구성 제한이 이번 탈락에 영향을 미쳤다는 일각의 시각에 대해 “모두의 AI 컨소시엄과 독파모 사업은 별개의 문제”라며 “그것이 결과에 어떠한 영향을 미쳤는지는 알 수 없다”고 말했다.

향후 정부의 인프라 지원 없이 자체 모델을 고도화해야 하는 상황에 관해서 임 대표는 “정부 지원 부족으로 원래 계획보다 사업이 축소되는 부분은 있겠지만, 회사가 할 수 있는 범위 안에서 최선의 노력을 다하겠다”며 “원래 회사가 하려던 모델 개발과 사업을 지속해서 이어갈 계획”이라고 밝혔다.

생존한 3개 팀은 서비스 실증과 생태계 적용 계획을 준비하고 있다.

업스테이지가 개발한 ‘Solar Open2’는 한 번에 처리할 수 있는 문맥 창을 최대 100만토큰까지 확보해 글로벌 최고 수준 모델과 대등한 장문 처리 역량을 선보였다. 이어 포털 다음(Daum)에 실사용 모델을 적용했다.

업스테이지는 “국민 모두가 AI 혜택을 누릴 수 있는 생태계 기반을 마련하고 한국 AI가 글로벌 무대 중심으로 나아가는 역사적인 시간을 함께해 영광”이라며 “최종 실증 단계로 넘어가는 만큼 국민들이 직접 체감할 수 있는 실사용 모델을 고도화하고 아시아권으로 지원 언어를 확대할 계획”이라고 전했다.

SK텔레콤의 ‘A.X K2’는 2026년 국제수학올림피아드(IMO) 문제 평가에서 금메달 기준 점수를 기록하고, 미국수학경시대회(AIME) 기반 벤치마크에서 97.1% 정확도로 글로벌 공동 최고점을 달성했다.

향후 SK텔레콤은 대규모 상용 서비스 탑재를 추진한다. 2차 평가 과정에서 데이터 품질 관리와 레드티밍(모의 해킹) 검수를 담당한 컨소시엄 참여사 셀렉트스타는 모델 안전성 검증을 이어간다. 이와 동시에 SK텔레콤은 자체 개발한 모델을 전 국민 대상 무료 AI 서비스 제공 프로젝트인 모두의 AI와 연계할 계획이다.

자사 통신 가입자 접점을 활용해 상담원 업무나 요금제 변경, 드라이브 스루 주문 등 반복 응대가 필요한 영역에 AI 에이전트를 도입하는 방안을 논의 중이다. 또 내년 가동을 목표로 하는 AI 데이터센터(AIDC)를 새로운 핵심 사업으로 추진하고 있다. 천정호 SK텔레콤 이사는 향후 계획에 관해 “세부 계획을 다시 잡고 이제 막 시작하는 단계”라고 전했다.

LG AI연구원의 ‘K-EXAONE 2.0’은 이번 평가 과정에서 AI 모델 환각 최소화 지표 부문 글로벌 9위에 오르며 안정성을 입증했다.

7500억개 파라미터 규모로 평가에 참여한 LG AI연구원은 다음 달 기술 방향을 공개하는 토크 콘서트를 연다. LG AI연구원 관계자는 “토크 콘서트에 참석하면 하반기와 내년 기술 개발 방향성을 비롯해 산업 현장에서 전문가 AI로 어떻게 활용할지에 대한 구체적인 그림을 볼 수 있을 것”이라고 안내했다.

임우형 LG AI연구원 공동 연구원장은 “글로벌 빅테크와 대등하게 경쟁하기 위해 동일한 스케일 체급에서 동등 이상의 성능을 구현해 내는 것을 목표로 도전을 이어 나갈 것”이라고 밝히기도 했다.

한편 정부는 3차 단계에 진출한 팀들에게 고성능 그래픽처리장치(GPU) 지원을 늘린다. 지원 규모는 상반기 B200 768장 수준에서 하반기 1000장 수준으로 확대된다. 6개월 임차 비용으로 환산하면 3개 팀에 약 1200억원이 투입된다. 과기정통부는 최상위급 독자 AI 모델을 개발하기 위한 새로운 지원 체계를 관계 부처와 논의하고 있다.

류제명 과기정통부 제2차관은 “한두 개 기업의 승자를 뽑기 위한 것이 아니라, 지금과 같은 경쟁 방식을 탈피해 전면적으로 재편하는 방향을 고민하고 있다”고 밝혔다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network