모티프테크놀로지스, 독파모 2차 결과 이의 제기…“평가 점수·기준 공개해야”

모티프테크놀로지스(모티프)는 27일 독자 인공지능(AI) 파운데이션 모델 사업(독파모) 2차 단계 선정 결과에 이의를 제기하고 평가 점수와 세부 기준 공개를 요구했다. 회사는 벤치마크와 전문가·사용자 평가 결과가 엇갈린 이유를 설명하고 재심의를 진행해 달라고 요청했다.

모티프는 이날 정식으로 이의 제기를 신청하고 입장문을 냈다. 회사는 독파모 사업의 목적이 한국이 독자 기술로 글로벌 경쟁력을 갖춘 프론티어급 파운데이션 모델을 개발·확보하는 데 있다고 주장했다. 정부가 제시한 성능 목표는 글로벌 프론티어 모델 대비 95% 수준이었다.

따라서 AI 모델 아키텍처 설계와 구현에 관한 기술을 바탕으로 사업에 지원했고, 1차 단계의 초기 5개 팀에는 포함되지 않았지만 2차 단계 추가 선정에서 참여 기회를 얻었다.

이어 지난 2월 768장의 그래픽처리장치(GPU)를 제공받은 뒤 5개월간 ‘모티프 3(Motif 3)’ 개발을 진행했다. 모티프는 국민 세금으로 마련된 자원인 만큼 사업의 국가적 중요성을 고려해 개발에 임했다고 전했다.

모티프 3의 성능과 관련해 회사는 글로벌 AI 모델 성능 지표인 AAII에서 47점을 기록했으며, 이는 모델 업체 기준 글로벌 10위, 미국과 중국을 제외하면 1위에 해당하는 점수라고 설명했다.

AAII는 인공지능 모델의 성능을 여러 벤치마크를 통해 종합적으로 평가하는 지표다. 모티프는 AAII가 단일 벤치마크가 아니라 글로벌 AI 업계에서 활용되는 9개 대표 벤치마크를 종합한 평가 지표라고 전했다. 모델 성능뿐 아니라 사용성과 관련된 평가도 포함하며, AAII를 운영하는 아티피셜 애널리시스(Artificial Analysis)가 지표를 지속적으로 개선하고 있다고 밝혔다.

과학기술정보통신부(과기정통부)도 지난 25일 국무회의 대통령 보고에서 독파모 모델의 AAII 47점과 글로벌 3강 목표를 언급한 바 있다. 독파모 참여 모델의 AAII 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.

모티프는 AAII가 모든 요소를 완벽하게 평가하는 절대 기준은 아니라고 인정했다. 다만 여러 벤치마크를 종합한 지표인 만큼 독파모 참여 모델 간 성능 차이를 판단하는 중요한 참고 기준으로 고려해야 한다는 입장이다.

특히 회사는 AAII에서 47점을 받은 모델과 31점을 받은 모델 사이에 상당한 차이가 있다고 지적했다. 글로벌 벤치마크와 전문가 평가에서 다른 결과가 나온 이유와 배경도 구체적으로 설명할 필요가 있다고 주장했다.

모티프는 벤치마크의 배점 산정 방식에도 문제를 제기했다. 회사가 파악한 100점 만점 평가에서 벤치마크 평가는 40점으로 AAII 25점과 한국지능정보사회진흥원(NIA) 15점으로 구성된다.

회사에 따르면 글로벌 1위 모델의 AAII 점수는 63점이다. 이를 독파모 평가의 25점 만점으로 환산하면 15.75점이다. 독파모 참여 모델 가운데 1위인 47점과 4위인 31점의 차이도 최종 배점으로 환산하면 4점으로 줄어든다.

모티프는 이 같은 배점 방식이 실제 모델 성능 차이를 충분히 반영하지 못할 가능성이 있다고 주장했다. 이에 따라 벤치마크 비중을 낮추기보다 글로벌 AI 업계에서 널리 활용되는 벤치마크의 중요성을 유지하고 실제 성능 차이가 배점에 적절하게 반영되도록 해야 한다고 요구했다.

회사는 현재 국내 AI 모델의 성능이 글로벌 프론티어 모델과 여전히 차이가 있다고 평가했다. 독파모 사업의 초기 목표가 글로벌 프론티어 모델의 95% 이상 성능 확보였던 만큼 현재 수준을 충분한 성능으로 보기 어렵다는 입장이다.

모티프가 제시한 AAII 기준 글로벌 프론티어 모델 점수는 63점이다. 모티프 3의 47점은 글로벌 프론티어 모델의 약 75% 수준이다. 31점 모델은 글로벌 프론티어 대비 약 49% 수준이다.

모티프는 모델의 본질적인 성능 향상이 독파모 사업의 목표에 부합한다고 주장하며, 파운데이션 모델의 가치는 챗봇의 사용성보다 여러 분야로 확장할 수 있는 기반 성능에서 나온다고 설명했다. 이어 본질적인 모델 성능이 높으면 사용성을 포함한 다양한 확장 가능성도 만들 수 있다고 덧붙였다.

다만 회사는 파운데이션 모델의 기준에 하나의 정답이 있는 것은 아니며, 본질적인 성능을 중시하는 관점과 전문가들이 중요하게 보는 요소가 다를 수 있다는 점도 인정했다.

이 같은 입장은 독파모 2차 평가 결과와도 연결된다. 과기정통부가 지난 18일 발표한 2차 단계 평가에서 모티프는 탈락했다. 회사는 평가 결과 자체는 받아들인다고 밝혔다.

다만 이후 언론 보도를 통해 과기정통부가 모티프 3에 대해 벤치마크 점수와 달리 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 전해졌다고 주장했다. 일부 언론에 보도된 과기정통부 고위 관계자의 발언에서는 모티프 3의 실제 추론 성능과 사용성·활용성이 벤치마크 점수보다 낮다는 평가가 있었다고 회사는 설명했다.

모티프는 과기정통부가 다음 3차 평가에서 벤치마크 비중을 낮추는 방향을 제시한 점도 문제로 들었다. 회사는 모델의 성능이 충분하지 않은 상황에서 사용성에 초점을 맞추는 것은 독파모 사업의 당초 목표와 맞지 않을 수 있다고 주장했다.

사용자 평가 방식에도 문제를 제기했다. 모티프는 유명 대기업과 인지도가 상대적으로 낮은 스타트업의 모델을 일반 사용자가 평가할 경우 개발사를 사전에 인지하면 브랜드 인지도나 선입견이 평가에 영향을 미칠 가능성이 있다고 설명했다.

이에 모티프는 사용자 평가에서 블라인드 방식을 요청했다. 벤치마크 평가에서 나타난 성능 차이가 일반 사용자 평가를 통해 크게 달라졌다면 사용자 평가의 방식과 조건이 결과에 어떤 영향을 미쳤는지 공개할 필요가 있다는 주장이다.

전문가 평가에 대해서도 세부 기준과 결과 공개를 요구했다. 모티프가 파악한 전문가 평가는 총 35점으로 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점으로 구성된다.

회사는 LG AI연구원이 1차 단계보다 모델 규모를 2배 이상 확대했지만 AAII 점수 개선 폭은 크지 않았다고 지적했다. 독파모 참여 모델 가운데 가장 낮은 벤치마크 점수를 기록한 모델이 전문가 평가에서 높은 평가를 받은 이유와 구체적인 판단 근거를 공개해야 한다고 주장했다.

모티프는 전문가 평가 과정에서 ‘컨소시엄의 주관, 참여기업 중 외국계 자본이나 해외 법인이 의결권 있는 주요주주로 참여하고 있는 기업이 있느냐’와 같은 질문을 서면으로 받았다고 밝혔다. 이런 질문이 어떤 평가 목적과 기준에 따라 활용됐는지도 설명해 달라고 요청했다.

모티프는 전체 평가 결과와 세부 내용도 공개해 달라고 요구했다. 회사가 파악한 100점 만점 평가에서 벤치마크 평가는 40점, 전문가 평가는 35점, 사용자 평가는 25점이다. 사용자 평가는 전문 사용자 15점과 일반 사용자 10점으로 구성된다.

회사는 ▲전체 평가 항목별 업체별 상세 점수와 평가 기준·내용 ▲벤치마크 평가 배점 산정 방식의 근거 ▲전문가 평가의 상세 기준과 항목별 평가 내용·결과 ▲사용자 평가의 방법론과 상세 기준·결과 공개를 요청했다.

또 평가 결과와 상세 평가 내용의 공개가 선정·탈락 기업의 향후 모델 개발과 전략 수립에도 필요하다고 밝혔다. 평가가 진행된 결과를 참여 기업이 확인할 수 있어야 과정의 투명성을 확보하고 실질적인 개선 방향을 제시할 수 있다는 설명이다.

이번 이의 제기는 독파모 2차 단계에 선정돼야 한다는 요구가 아니며, 이의 제기를 통해 독파모가 추구하는 목표에 대한 합의를 만들고 참여 기업이 개선 방향을 찾는 계기가 되기를 바란다는 입장이다.

모티프는 이의 제기 결과와 관계없이 독파모 3차 평가에는 참여하지 않겠다고 전했다. 2차 사업을 통해 모델 개발 기회를 얻었다면서 앞으로 자체적으로 프론티어 모델을 개발해 글로벌 경쟁에 나서겠다고 했다.

지난 25일 부총리가 스타트업은 공공·산업 특화 모델에, 대기업은 최상위 프론티어 모델에 집중하는 것이 맞다고 발언한 것과 관련해서도 입장을 밝혔다. 회사는 글로벌 프론티어 모델의 일반적인 평가 기준이 벤치마크라고 주장했다.

독파모 2차 결과에서는 벤치마크에서 스타트업 2곳이 대기업 2곳보다 높은 점수를 받았고, 사용성에서는 대기업이 앞섰다는 설명이다. 모티프는 이를 서로 부족한 부분을 보완하라는 의미로 이해한다고 밝혔다.

회사는 국가 사업의 방향이 글로벌 AI 모델 업계의 발전 방향과 조화를 이뤄야 한다고 강조하며, 심사 과정과 결과를 충분히 공개하고 검증할 수 있어야 3차 평가에서 참여 기업이 명확한 방향 아래 역량을 집중할 수 있다는 입장을 전했다.

모티프는 “이번 심사 과정과 결과가 충분히 공개되고 검증될 수 있어야 하며, 이를 바탕으로 3차에서는 참여 기업들이 보다 명확한 방향 아래 역량을 집중할 수 있기를 바란다”고 밝혔다.

한편 회사는 3차 단계에 선정된 3개사에는 축하의 뜻을 전하면서 향후 글로벌 AI 3강을 목표로 경쟁을 이어가겠다고 덧붙였다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network