네이버, 하이퍼클로바X 경량 추론 모델 오픈소스로 공개

네이버클라우드(대표 김유원)는 토대부터 개발한(from scratch) 경량 추론(reasoning) 모델 ‘하이퍼클로바X 시드 14B 싱크(HyperCLOVA X SEED 14B Think)’를 오픈소스로 공개했다고 22일 밝혔다.

네이버 원천기술로 추론 능력과 경량화 기술을 결합해 개발됐다. 상업용으로 이용할 수 있다.

하이퍼클로바X 시드 14B 싱크는 지난달 30일 발표된 추론모델 하이퍼클로바X 싱크를 경량화한 것이다. 중요도 낮은 매개변수를 가지치기(pruning)하되 원본 모델의 지식을 최대한 보존시키고, 가지치기 과정에서 손실된 큰 모델의 지식을 작은 모델에 전이(distillation)하는 방식으로 학습 비용을 크게 낮췄다.

회사 측에 따르면, 해당 모델은 140억 개 매개변수 규모의 모델임에도 불구하고, 5억개 매개변수로 구성된 글로벌 오픈소스 모델보다 더 적은 비용으로 학습됐다. 동일 크기 글로벌 오픈소스 모델과 비교해 1회 학습 비용은 약 100분의 1 수준이다.

한국어·한국문화와 코딩·수학 관련 성능을 측정하는 평가에서 동일 크기(140억) 또는 상대적으로 큰 규모(320억) 모델과 유사하거나 높은 평균 점수를 기록했다.

네이버클라우드 하이퍼스케일 AI 성낙호 기술 총괄은 “독자적 기술로 생성형 AI 모델을 꾸준히 업그레이드하면서 구축한 고성능 플래그십 모델과, 수많은 실험과 개선을 통해 설계한 효율적인 학습 전략을 바탕으로 동일 규모에서 비용·성능 등이 더 효과적인 추론모델을 구축할 수 있었다”며 “해외의 상용 모델을 개조한 기술로 그들의 생태계에 편입되기보다 토대부터 자체 기술로 구축한 하이퍼클로바X가 한국 AI 생태계의 본격적 성장을 이끌 수 있기를 기대한다”고 밝혔다.

지난 4월 오픈소스로 공개된 하이퍼클로바X 경량모델 3종은 7월 누적 다운로드 100만 건을 기록했다. 50여개의 1차 파생모델을 바탕으로 새로운 파생모델이 생산·공유되고, 한국어 온 디바이스 AI 서비스가 출시되고 있다고 회사측은 주장했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network