노타, 업스테이지 컨소시엄 독파모 3차수 진출… AI 모델 경량화 지원

AI 모델 경량화·최적화 기술 개발 기업 노타는 업스테이지 컨소시엄의 독자 인공지능(AI) 파운데이션 모델(독파모) 3차수 진출에 따라 ‘솔라(Solar)’ 계열 모델의 국내 인프라 구동을 위한 경량화와 최적화 기술 지원을 이어간다고 20일 밝혔다.

업스테이지 컨소시엄은 지난 18일 진행된 독파모 2차 단계평가에서 3차수 진출팀으로 선정됐다. 3차수에는 업스테이지 컨소시엄을 비롯해 SK텔레콤, LG AI연구원 컨소시엄이 진출했다.

정부의 평가 기준에는 모델의 정량적 성능과 함께 자원 활용 효율성, 사용성과 실용성, 산업·서비스 환경으로의 확장 가능성 등이 포함됐다.

업스테이지 컨소시엄은 국내 플랫폼과 연계한 국민 체감형 서비스를 구현했다. 퓨리오사AI의 신경망처리장치(NPU)를 활용해 국산 AI 소프트웨어와 하드웨어를 결합하는 방안도 제시했다.

노타는 독파모 2차 단계평가 결과 보다 앞서 업스테이지의 ‘솔라 오픈 2(Solar Open 2)’ 경량화 모델을 공개했다. 모델은 글로벌 AI 플랫폼 허깅페이스에 등록됐다. 노타에 따르면 누적 다운로드는 8만 건을 기록했다.

회사는 모델의 가중치를 4비트 정수형(INT4)이나 엔비디아의 4비트 부동소수점 형식(NVFP4)으로 바꿔 데이터 용량을 줄이는 방식을 적용했다.

또 가중치 저장에 필요한 메모리를 500.6GB에서 117.8GB로 낮췄다고 설명했다. 감소 폭은 76.5%다. 메모리 용량을 기준으로 필요한 엔비디아 H100 GPU도 8장에서 2장으로 줄였다고 전했다.

노타는 모델 성능을 유지하면서 연산 자원과 메모리 사용량을 줄이는 방식으로 최적화를 진행했다. 이를 통해 다양한 하드웨어와 서비스 환경에서 모델을 구동할 수 있도록 지원한다는 입장이다. 기업의 모델 도입 과정에서 필요한 인프라 부담과 운영 비용을 낮추는 효과도 기대하고 있다.

채명수 노타 대표는 “국가대표 AI 모델이 다양한 산업 현장에서 비용 효율적으로 활용될 수 있도록 최적화 기술을 지속적으로 고도화할 것”이라며 “업스테이지와 함께 독파모 3차수 평가에서도 좋은 성과를 거둘 수 있도록 최선을 다하겠다”고 말했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network