과기정통부, 독자 AI 파운데이션 모델 성능평가 데이터셋 구축기관 공개 모집

과학기술정보통신부(이하 과기정통부)가 ‘독자 AI 파운데이션 모델(독자 인공지능 기초 모형)’ 구축 사업으로 개발되는 AI 모델의 성능을 평가하는 수행기관을 모집한다.

과기정통부는 AI 모델 성능 평가를 위한 ‘성능 평가 데이터셋 구축 사업’ 수행기관을 17일부터 8월 7일까지 공개 모집한다고 17일 밝혔다.

해당 사업 목표는 독자 인공지능 기초 모형 프로젝트로 구축할 국내 AI 모델에 대한 성능 평가용 데이터셋 구축이다.

과기정통부에 따르면 대부분 글로벌 생성형 AI 서비스 성능평가에 영어권 평가지표가 활용되고 있다. 이는 국내 서비스 이용 환경을 충분히 반영하지 못한다. 우리나라의 문화 및 사회적 가치를 반영하고, 국내외 다양한 AI 모델 성능을 객관적으로 진단하기 위해 고품질 성능 평가 데이터셋 구축을 추진해야 한다는 게 정부의 판단이다. 총 예산은 24억원이며, 총 3개 과제로 나누어 과제별 8억원을 투입한다.

과기정통부는 성능 평가 데이터셋 구축 분야를 발굴하기 위해 AI 모델 개발 및 평가 방법 분야의 국내외 산학 전문가 의견을 수렴하고 검토했다. 올해 3개 분야 ▲수학분야: 거대언어모델(LLM) 수학 풀이 능력 평가 데이터 ▲지식 분야: 한국형 지식을 평가하기 위한 주제별 질의-정답 및 추론 데이터 ▲장문 이해 분야: 장문 문맥에서 다양한 과업에 대한 성능 평가 데이터 등 데이터셋을 우선적으로 구축할 예정이다. 향후 멀티모달, 에이전트 등 다양한 생성형 AI 모델 영역을 평가할 수 있는 데이터셋을 구축할 계획이다.

사업 참여 조건은 초거대 AI 또는 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반 인공지능 개발 역량을 갖춘 기업·기관이 1개 이상 수행기관 컨소시엄에 포함돼야 한다.

김경만 과기정통부 인공지능기반정책관은 “국민이 체감할 수 있는 고성능 국내 독자 AI 파운데이션 모델을 확보하기 위해서는 그 성능을 평가하는 데이터셋도 국내 사회ㆍ문화 환경 등이 반영되어야 한다”라며 “이번 사업을 통해 구축한 성능 평가 데이터셋은 정예팀 뿐만 아니라 향후 국내 AI 개발기관이 활용할 수 있도록 공개할 계획이며, 국내 AI 생태계 경쟁력 강화에 기여할 것으로 기대한다”고 밝혔다.

글. 바이라인네트워크
<최가람 기자> ggchoi@byline.network