독파모 2차 단계평가 8일 시작…국민평가단 200명이 ‘K-AI’ 평가

정부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 프로젝트 2차 단계 평가는 기술 성능뿐 아니라 실제 사용 환경에서 활용성을 평가 대상에 포함한다. 평가단은 벤치마크와 전문가뿐 아니라 일반인으로 구성된 국민평가단 200명도 포함됐다.

과학기술정보통신부(과기정통부)와 정보통신산업진흥원(NIPA)은 8일부터 11일까지 독파모 2차 평가를 진행한다. 과기정통부에 따르면 200명의 국민평가단은 LG AI연구원, SK텔레콤, 업스테이지, 모티프테크놀로지스 정예팀의 독자 AI 모델을 직접 사용한 뒤 절대평가 방식으로 점수를 부여한다.

LG AI연구원은 엑사원 2.0(EXAONE 2.0), SK텔레콤은 에이닷엑스 케이투(A.X K2), 업스테이지는 솔라 오픈 2(Solar Open 2), 모티프테크놀로지스는 모티프 3(Motif 3)를 개발해 지난 4일 최종 보고서와 모델 제출을 완료했다.

정부는 국민평가단을 자유 공모로 모집한 뒤 이해충돌 여부를 확인하고 무작위로 추첨하는 방식을 거쳤다. 특정 계층의 의견이 과대 대표되는 것을 막기 위해 우리나라 주민등록 인구 기준을 적용해 10대부터 60대까지 성별과 연령별 비율을 반영해 선정했다.

과기정통부 관계자는 “전문가들이 평가하는 이유가 따로 있기 때문에 비전문가 입장에서 자유롭게 써보고 이 모델이 써볼 만하다는 평가를 내리는 게 중요하다고 봤다”며 기획 의도를 설명했다.

국민평가 제도는 프로젝트 초기부터 기획됐으나 지난 1차 평가 당시에는 시간 관계와 자재 준비 부족으로 진행되지 못했다. 2차 단계평가에 처음 도입되면서 정부는 평가단의 일정을 고려해 8일부터 11일까지 4일의 기간을 부여했다. 참가자들은 이 기간 동안 AI 모델을 자유롭게 체험한 뒤 평가를 완료하면 된다.

1차 단계평가에 이어 2차 단계평가 역시 개발사 이름을 가리는 블라인드 테스트 방식은 적용하지 않는다. 당초 정부는 모델의 소속 기업을 숨기는 방식을 검토했으나, 생성형 AI 특성상 안전장치를 마련해도 우회 질문을 통해 정체가 쉽게 탄로 날 수밖에 없다는 실무적 한계에 부딪혔다.

과기정통부 관계자는 “블라인드 방식으로 평가를 진행하더라도 AI에 모델명을 묻는 방식으로 접근하면 정체가 드러날 가능성이 있다”며 “실제로 AI에 ‘너의 모델 이름은 뭐야’라고 물어보면 보통 AI가 답을 해버린다”고 설명했다. 이어 그는 “모델 식별이 가능한 상황에서 블라인드 방식을 유지하기보다 모델 정보를 공개하고, 국민평가단에는 기업명보다 각 모델들의 성능과 사용성을 중심으로 평가해달라는 가이드라인을 제공했다”고 부연했다.

국민평가단의 절대평가 결과는 전체 평가 점수의 일부로 반영된다. 정부는 일반인 대상의 사용성 검증 외에도 AI 모델의 성능을 객관적으로 측정하는 글로벌 벤치마크 평가와 독자성 항목이 보강된 전문가 심사를 함께 진행하고 있다. 최종 결과는 이 세 가지 지표를 합산해 도출된다. 각 평가단의 구체적인 배점 비율과 세부 기준 등은 2차 평가 결과 발표 시점에 함께 공개될 예정이다.

독파모 프로젝트는 해외 빅테크 의존도를 낮추고 국내 기술로 세계 수준의 독자 AI 모델을 확보하기 위해 추진된 정부 사업이다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network