과기정통부, 투명성 지적에 독파모 평가 점수 공개
과학기술정보통신부(과기정통부)가 20일 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 단계평가 결과와 관련해 1차 평가 때와 같은 수준으로 항목별 1위 기업과 점수를 공개하겠다고 밝혔다. 앞서 2차 평가에서 기업별 세부 점수를 공개하지 않으면서 평가 기준과 결과 공개 방식의 투명성을 둘러싼 지적이 나왔다.
과기정통부는 평가 결과가 기업에 미칠 직·간접적인 영향을 고려해 공개 범위를 결정해왔다고 설명했다. 1차 단계평가에서는 항목별 1위 기업을 공개했지만, 순위에 따른 인식 제고와 다른 기업에 대한 낙인효과가 발생할 수 있다는 지적을 반영해 2차 발표에서는 이를 제외했다. 이후 언론에서 투명성 문제가 제기되자 기존 공개 수준으로 되돌리기로 했다.
2차 단계평가는 ▲벤치마크 평가 40점 ▲전문가 평가 35점 ▲사용자 평가 25점 등 총100점으로 구성됐다. 1차 단계평가 이후 독자성 점검과 활용성 평가를 강화할 필요성이 제기되면서 관련 배점이 10점에서 15점으로 늘었다.
벤치마크 평가는 글로벌 벤치마크 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 나뉜다. 글로벌 평가는 인공지능 분석 지수(AAII)가 활용하는 기준을 적용했다.
복합 작업 수행 능력을 평가하는 에이전트, 프로그램 작성 및 문제 해결 능력 코딩, 종합적인 지식·추론 능력을 평가하는 일반, 과학 분야 문제 해결 능력을 평가하는 과학적 추론까지 4개 범주에서 실제 업무 수행 능력(GDPval-AA v2), 터미널 기반 소프트웨어 작업 능력(터미널 벤치 v2.1), 긴 문맥 이해 능력(AA-LCR), 고난도 학술 문제 해결 능력(HLE), 전문 분야 추론 능력(GPQA 다이아몬드) 등의 지표를 사용했다.
AAII 평가에서 모티프테크놀로지스(모티프)는 11.9점을 받았다. 4개 정예팀 평균은 9.48점이었다. NIA 평가는 수학, 지식, 장문이해, 안전성, 신뢰성, 한국어, 지시이행까지 7개 분야를 대상으로 진행됐다. SK텔레콤이 13.4점으로 가장 높은 점수를 기록했고 평균은 13.05점이었다.
전문가 평가는 외부 전문가 10명으로 구성된 평가위원회가 맡았다. 산업계 3명, 학계 5명, 연구계 2명이 참여했다. 평가에는 제출 서류와 AI 사용 심층 평가가 활용됐다. 평가위원별 점수에서 최고점과 최저점을 제외한 뒤 나머지 점수를 평균해 팀별 점수를 산출했다.
전문가 평가는 ▲개발 전략 및 기술 10점 ▲개발 성과 및 계획 10점 ▲파급효과 및 기여계획 15점으로 구성됐다. 개발 전략과 기술 부문에서는 당초 계획 대비 수행 정도, 위험 대응, 기관 간 협력, 기술적 독자성, 자원 활용 효율성, 안전성과 신뢰성 등을 살폈다.
개발 성과 및 계획 부문에서는 성능 달성도와 확장 가능성, 모델의 사용성과 실용성, 다양한 분야 적용 가능성 등을 평가했다. 향후 계획에는 무빙타깃 기반 대응 전략, 차기 목표의 실현 가능성, 차세대 기술 도입, 지속적인 개선을 위한 피드백 체계 등이 포함됐다.
파급효과 및 기여계획에서는 국민의 AI 접근성 확대, 전 분야 AI 전환 지원, AI 모델 공개, 대학과 스타트업 및 국산 AI 반도체 생태계 지원 등을 평가했다. 글로벌 시장 진출 실적과 계획, 국가 AI 경쟁력 강화에 대한 기여 수준도 평가 항목에 포함됐다.
독자성 최소기준도 별도로 점검했다. 이번 개발 모델이 기술적·정책적·윤리적 측면에서 독자성 기준을 충족하지 못하는지를 확인하는 방식이다.
새로 참여한 모티프는 현장확산 평가에서 기존 AI 모델의 실적과 계획까지 평가 범위에 포함됐다. 기존 3개 정예팀은 독자 AI 모델과 파생모델을 기반으로 한 현장확산 실적과 계획을 평가받았다. 모티프 기존 AI 모델의 현장확산 실적과 계획도 함께 평가받았다.
과기정통부는 파생모델을 독자 AI 모델 또는 그 아키텍처를 기반으로 확장·재구성한 모델로 정의했다. 독자 AI 모델과 기술적·학습적 연속성을 공유하면서 확장·재구성한 모델도 포함했다.
전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높은 점수를 받았다. 4개 정예팀 평균은 28.75점이었다.
사용자 평가는 AI 전문 사용자진과 일반 국민으로 나눠 진행됐다. AI 전문 사용자진은 50명 이하로 구성됐으며 실제 49명이 참여했다. 일반 국민 평가에는 200명 이상을 목표로 성별과 연령별 인구 비율을 반영한 무작위 선정 방식이 적용됐고 실제 참여자는 185명이었다.
사용자들은 각 정예팀의 AI 모델을 적용한 웹사이트에서 콘텐츠의 내용과 품질을 중심으로 1점부터 5점까지 절대평가했다. 평가단에는 웹사이트의 UI·UX보다 AI 모델의 성능을 중심으로 평가하도록 안내했다. 정예팀별 AI 모델의 평가 순서는 무작위로 제공했고, 최소3분 이상의 평가 시간을 부여했다.
AI 전문 사용자진 평가는 15점 만점으로 환산됐다. SK텔레콤이 11.6점으로 가장 높은 점수를 받았으며 평균은 10.53점이었다. 일반 국민 평가는 10점 만점으로 환산됐고 LG AI연구원이 7.6점으로 가장 높은 점수를 기록했다. 평균은 7.03점이었다.
과기정통부는 독파모 프로젝트가 순위 경쟁이나 탈락팀 선정을 목적으로 하는 사업은 아니라고 밝혔다. 기업별 평가 결과 공개에 따른 영향을 고려하면서 평가 과정의 공정성과 투명성을 함께 반영했다는 입장이다.
과기정통부는 향후 독파모 정예팀을 비롯한 참여 기업들이 AI 모델과 기술을 지속적으로 개발하고 실제 현장에서 활용할 수 있도록 정책 지원을 확대할 계획이라고 밝혔다.
글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network
