업스테이지, 자체개발 LLM ‘솔라’ 공개…글로벌 대전 출사표

인공지능(AI) 스타트업 업스테이지가 자체 개발한 사전학습 거대언어모델(LLM)인 ‘솔라(Solar)’를 내놓고 글로벌 LLM 대전에 출사표를 냈다.

업스테이지는 14일 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 1위를 차지한 LLM 솔라를 공개했다. 소형 LLM(SLM)으로 설계한 솔라는 파라미터 수 300억개(30B) 이하 사이즈로 글로벌 최고 성능 모델에 올라 의미가 깊다는 게 회사 설명이다.

업스테이지는 지난 8월 GPT-3.5의 벤치마크 점수를 뛰어넘어 주목 받았던 자사의 허깅페이스 1위 모델을 바탕으로 솔라를 개발했다. 솔라는 매개변수 107억개로 이뤄졌으며 3조개 이상의 토큰으로 데이터를 학습했다. 사전 학습과 파인 튜닝 단계에서 자체적으로 구축한 데이터를 솔라에 적용했다.

허깅페이스 오픈 LLM 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다. 업스테이지는 솔라의 107억 매개변수 모델이 거대언어모델(LLM)과 소형언어모델(SLM)의 장점을 두루 갖췄다고 자평했다. 성능은 좋지만 다소 무거운 130억 매개변수 모델과, 가볍지만 다소 제약이 있는 70억 모델 사이에서 균형을 이뤘다고 강조했다.

오픈소스로 공개한 솔라는 상업적 사용이 가능하다. 높은 파인튜닝 모델과 더불어 자체 추가 학습이 가능한 사전학습 모델도 공개했다. 회사는 향후 아마존웹서비스(AWS) 등 글로벌 플랫폼과의 협력을 통해 글로벌 생성AI 시장에 본격적으로 진출할 계획이다.

김성훈 업스테이지 대표는 “업스테이지의 솔라가 모두를 위한 모델이 되기를 희망한다”며  “지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, 기업대기업 시장에서의 협력도 추진할 것”이라고 밝혔다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network