독파모 2차 평가점수 공개…SKT 70.6점 1위, 업스테이지·LG·모티프 순

과학기술정보통신부가 27일 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 2차 단계평가 세부 점수를 공개했다. 종합점수에서는 SK텔레콤(SKT) 정예팀이 70.6점으로 1위를 기록했고 업스테이지 69.9점, LG AI연구원 69.0점, 모티프테크놀로지스(모티프) 65.8점 순으로 집계됐다.

과기정통부는 이날 모티프가 세부 평가 결과 공개를 요청했고 다른 정예팀들도 동의하면서 점수를 공개하는 것이라고 밝혔다. 앞서 과기정통부는 지난 18일 2차 단계평가 결과를 발표했고 20일 평가 기준과 결과 공개 범위에 관한 설명자료를 배포했다.

지난 2차 단계평가는 벤치마크 40점, 전문가 35점, 사용자 25점을 합산하는 방식으로 진행됐다.

벤치마크 평가

벤치마크 평가는 40점 만점으로 인공지능 지수(AAII) 평가 25점과 한국지능정보사회진흥원(NIA) 벤치마크 평가 15점으로 구성됐다. 전체 벤치마크 점수는 모티프가 24.6점으로 가장 높았고 업스테이지 22.7점, SKT 22.2점, LG AI연구원 20.6점 순이었다.

AAII 평가에서도 모티프가 11.9점으로 가장 높았으며 업스테이지 9.4점, SKT 8.8점, LG AI연구원 7.8점 순으로 나타났다. NIA 평가에서는 SKT가 13.4점으로 1위, 업스테이지 13.3점으로 2위, LG AI연구원 12.8점으로 3위, 모티프 12.7점으로 4위를 기록했다.

AAII 평가는 에이전트, 코딩, 일반, 과학적 추론 분야의 9개 벤치마크로 진행됐다.

모티프는 ▲직무 수행 평가(GDPval-AA v2) 38.7점 ▲금융 에이전트 평가(τ3-Banking) 35.3점 ▲터미널 기반 코딩 평가(Terminal-Bench) v2.1 74.9점 ▲과학 코딩 평가(SciCode) 40.6점 ▲장문 이해·추론 평가(AA-LCR) 72.3점 ▲지식 정확도 평가(AA-Omniscience Accuracy) 30.1점 ▲고난도 지식·추론 평가(HLE) 37.0점 ▲대학원 수준 과학 추론 평가(GPQA Diamond) 83.4점 ▲판적 사고·추론 평가(CritPt) 6.6점을 기록했다. 전체 원점수는 47.4점이며 25점 만점 환산점수는 11.9점이다.

NIA 벤치마크는 수학, 지식, 장문이해, 지시이행, 한국어, 신뢰성, 안전성, 사회적 안전성 분야를 평가했다. 15점 만점 환산점수는 업스테이지 13.3점, SKT 13.4점, LG AI연구원 12.8점, 모티프 12.7점이었다.

전문가 평가

전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명이 참여했다. 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점 등 총 35점으로 구성됐다. 위원별 평가점수에서 최고점과 최저점을 제외한 뒤 나머지 점수를 산술평균해 팀별 점수를 산출했다.

전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높았다. SKT 29.3점, 업스테이지 29.1점, 모티프 27.1점 순이었다.

사용자 평가

사용자 평가는 AI 전문 사용자진 평가 15점과 일반 국민 평가 10점 총 25점으로 구성됐다.

AI 전문 사용자 평가는 AI 스타트업 대표 등 50명을 선정한 뒤 실제 49명이 참여했다. 각 팀의 AI 사용 웹사이트를 활용해 1점부터 5점까지 절대평가했으며 15점 만점으로 환산했다. SKT가 11.6점으로 가장 높았고 LG AI연구원 11.3점, 업스테이지 10.8점, 모티프 8.4점 순이었다.

일반 국민 평가는 특정 성별이나 연령층에 치우치지 않도록 성별·연령별 비율을 고려해 무작위로 200명을 선정했고 실제 185명이 참여했다. 1점부터 5점까지 절대평가한 결과 LG AI연구원이 7.6점으로 가장 높았고 SKT 7.5점, 업스테이지 7.3점, 모티프 5.7점 순으로 나타났다.

이에 따라 사용자 평가 합산점수는 SKT 19.1점, LG AI연구원 18.9점, 업스테이지 18.1점, 모티프 14.1점으로 집계됐다.

최종 결과

벤치마크·전문가·사용자 평가를 합산한 최종점수는 SKT 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점으로 정해졌다.

한편 각 정예팀이 개발한 모델은 모티프 ‘모티프 3(Motif 3)’, 업스테이지 ‘솔라 오픈 2(Solar Open 2)’, SKT ‘에이닷엑스 케이투(A.X K2)’, LG AI연구원 ‘K-엑사원 2.0(K-EXAONE 2.0)’다.

과기정통부에 따르면 모티프 3는 에이전트와 코딩 분야에 특화된 모델이며 솔라 오픈 2는 최대 100만토큰 규모의 컨텍스트 윈도우를 지원한다. 에이닷엑스 케이투는 한국어·수학 벤치마크를 중심으로 개발됐으며 K-엑사원 2.0은 7500억개 파라미터 규모로 10개 언어를 지원한다.

과기정통부는 다음 단계 진출팀에 고성능 GPU인 B200 지원을 확대할 계획이다. 올해 상반기 768장 수준에서 하반기 1000장 수준으로 지원 규모를 늘릴 예정이라고 전했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network