산타토익 운영사 ‘뤼이드’, 오픈 LLM 평가에서 1위

인공지능(AI) 기반 에듀테크 기업 뤼이드는 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM (Large Language Model, AI 거대 언어 모델) 리더보드’ 평가에서 자사 개발한 생성AI 모델이 개발한 생성AI 모델이 74.07점을 기록하며 1위에 올랐다고 발표했다.

허깅페이스의 오픈 LLM 리더보드는 세계 500여 개의 오픈소스 생성 AI 모델들의 성능을 평가해 순위를 공개한다. 평가 지표는 총 4가지로, 초등학교 수준의 과학 추론 능력, 인간에게는 쉽지만 AI 모델에게는 까다로운 상식 능력, 초등 수학, 미국 역사, 컴퓨터 과학, 법률 등을 포함한 종합적 언어 이해 능력, 환각현상(할루시네이션) 방지를 위한 진실성 검사 등 이들 지표의 평균 점수를 통해 종합 점수와 순위가 정해진다. 회사 측에 따르면, 뤼이드는 4가지 지표 모두 고른 고득점을 얻어 종합 점수에서 최고점을 기록했다.

현재 상위권 주요 참가팀을 살펴보면, 2위는 대만 항공우주 회사, 3위는 중국 알리바바와 서북공업대(Northwestern polytechnical university) 연합 모델, 5위는 중국 연합통신으로 추정된다. 각 참가자들이 공식적인 정보를 공개하지 않아 모델명으로 추정할 수 밖에 없다. 이외에도 이미지 생성 AI인 ‘스테이블디퓨전’ 개발사 ‘스태빌리티 AI’의 LLM이 71.42로 47위를 기록중이며, 메타의 ‘라마-2’는 67.35점으로 106위에 랭크되어 있다.

이 리더보드는 상시 오픈 상태로, 참가기업이나 개인이 자체 LLM을 제출하면 평가 후 바로 리더 보드가 갱신된다. 국내에서는 지난 8월 AI 기술 기업 업스테이지가 챗GPT 3.5 모델을 누르고, 전세계 1위를 차지해 주목받았으며, 현재 14위를 기록중이다. 뤼이드는 지난 9월 처음으로 제출한 모델이 73.69점을 기록, 세계 2위에 랭크되었으며, 이번에 한 달 만에 새로 제출한 모델이 74.07점을 받아 1위에 올랐다.

장영준 뤼이드 대표는 “이번 1위를 통해 교육 분야에 국한되지 않은 AI 기술 기업으로서 LLM 학습 능력과 튜닝 기술이 세계 선두에 있음을 증명했다”며, “그간의 교육학습 AI 운영으로 축적된 프롬프트 엔지니어링이 파인튜닝 기술과 좋은 시너지를 발생시킬 것으로 기대된다”고 밝혔다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network