메타, 소형 오픈웨이트 모델 ‘뮤즈 글리머’ 공개

메타가 새로운 오픈웨이트 모델 ‘뮤즈 글리머(Muse Glimmer)’를 발표했다. 메타슈퍼인텔리전스랩에서 공개한 첫 오픈웨이트 모델이지만, 과거 라마 수준의 대규모 모델은 아니다. 향후 수주일 내 가장 진보된 모델인 ‘뮤즈 스파크 1.2’의 오픈웨이트 버전도 출시할 예정이라고 밝혔다.

메타는 10일(현지시간) ‘뮤즈 글리머’를 발표하고 모델 가중치를 아파치 2.0 라이선스로 허깅페이스에 공개했다.

뮤즈 글리머는 로컬 에이전트 워크플로우에 최적화된 300억개 매개변수의 소형 모델이다. 맥이나 PC의 GPU로 실행할 정도로 작다. 로컬 에이전트, 함수 호출, 로컬 코딩, LLM 심사자 활용 등의 사례를 지원한다.

메타는 “파운데이션 모델은 추론, 코드 생성, 도구 사용 등 여러 분야에서 놀라운 성능을 보여줬지만, 대부분의 배포는 여전히 클라우드 인프라와 네트워크 접근에 의존한다”며 “모델을 로컬에서 실행하면 인터넷 연결 여부와 관계없이 언제 어디서든 AI를 활용할 수 있다”고 의미 부여했다.

메타에 따르면, 뮤즈 글리머는 로컬 하드웨어의 메모리, 컴퓨팅 제약 조건에 맞춰 성능 균형을 유지하도록 설계됐다. 작은 아키텍처와 훨씬 더 큰 교사 모델로부터 에이전틱 추론을 가져오는 새로운 증류 방식, 지연시간 기대치 충족을 위한 양자화 등이 사용됐다고 한다.

메타는 뮤즈 스파크의 출력값을 사용해 로짓 증류법으로 뮤즈 글리머를 학습시켰으며, 교사 모델과 유사한 데이터 구성을 활용했다고 밝혔다. 중간 단계에 유기적 데이터와 더 긴 컨텍스트, 더 많은 에이전트 참여, 더 풍부한 추론 과정을 포함하는 데이터로 모델을 훈련시켰다. 훈련 후 단계에서 일반, 추론, 코딩, 에이전트 영역 전반에 걸쳐 지도 미세 조정과 온폴리시 증류 및 강화학습을 혼합 적용했다고 한다.

뮤즈 글리머는 엔드투엔드 에이전트 기반 작업을 완료할 수 있고, 광범위한 함수 호출와 정확한 스키마로 안정적인 도구 사용을 제공하며, 장기적 관점에서 추론을 연결해 복잡하고 확장된 워크플로우 전반에 일관된 계획을 유지한다. 도구 호출 실패나 예상치 못한 결과 반환 시 모델은 오류를 진단하고 재시도한다. 전용 인식 인코더를 통해 텍스트와 이미지를 혼합한 멀티모달 입력을 제공해 스크린샷, 차트, 문서 등을 해석할 수 있다. 오픈클로와 기타 에이전트 기반 오케스트레이션 패턴과 호환된다. 추론 능력은 품질과 속도 사이의 균형을 선택할 수 있게 했다. 언어는 100개 이상을 학습했다.

뮤즈 글리머의 성능은 구글의 젬마4-31B와 알리바바의 큐웬3.6-27B와 비교된다. 뮤즈 글리머는 멀티턴 에이전틱 도구 호출 평가인 MCP Atlas, 브라우징 평가인 딥리서치 QA, 지식 증강 기반 고객서비스 평가인 타우큐브드벤치, 에이전틱 모델의 컴퓨터 환경 작업 평가인 WildClawBench, 에이전트의 텍스트 도구 사용 평가인 Gaia2 등 일반 에이전틱 벤치마크에서 가장 높은 점수를 기록했다.

코딩 작업 평가인 SWE-Bench Pro, 과학 연구 코딩 능력 평가 SciCode 등 에이전틱 코딩 벤치마크에서 가장 앞섰다. 멀티모달 역량에서 차트 추론 평가인 CharXiv Reasoning에서 가장 높은 점수였다. 일반 역량과 추론 벤치마크에서 지시 준수, 수학 추론, 긴 컨텍스트 추론, 긴 컨텍스트 및 정보 활용 등에 높은 점수를 받았다.

최대 정밀도로 300억 매개변수의 뮤즈 글리머 모델을 구현하려면 55GB 이상의 메모리가 필요하다. 메타는 양자화 기법으로 모델 가중치를 4비트 정밀도로 압축해 언어 모델의 크기를 20GB 미만으로 줄였다. 모델의 KV캐시, 지각 인코더, 예측 디코딩 드래프터가 24GB나 32GB 메모리 범위 내에서 동시 실행할 수 있게 됐다고 한다.

메타 글리머는 긴 추론 과정이나 여러 단계를 거치는 도구 호출 시 속도 저하를 방지하기 위해 DFlash 기반의 경량 드래프터 모델을 제공한다. 보조 네트워크가 전체 토큰 블록을 한번에 제안하고, 메인 모델이 그 제안을 병렬로 검증해 올바른 토큰을 수용하고 잘못된 토큰을 수정한다. 이는 빠르게 텍스트를 생성하면서 동일한 출력 품질을 유지하게 한다. 메모리 오버헤드를 줄이기 위한 양자화된 드래프터 버전도 제공한다.

메타는 “향후 올라마, LM스튜디오, 언슬로스 등의 파트너를 통해 로컬에서 실행하거나, llama.cpp, ExecuTorch, MLX 등의 엣지 프레임워크를 사용해 배포하고, vLLM 및 SGLang을 통해 대규모로 서비스를 제공하거나, 투게더 AI, 파이어웍스 AI, 오픈라우터 등의  파트너를 통해 빠르게 시작할 수 있다”며 “파이토치의 토치타이탄 학습 기능을 활용해 모델을 더 세밀하게 조정함으로써 사용 사례에 맞게 맞춤 설정할 수 있다”고 설명했다.

또한 “AMD, Arm, 델, 인텔, 엔비디아 등의 파트너와 협력해 모든 기기에서 최적의 성능을 구현하려 노력중”이라며 “개발자가 뮤즈 글리머를 사용해 책임감 있게 개발을 시작하고 배포하는 데 필요한 관련 문서를 공개하고 있으며, 여기에 사용자 지정 스캐폴드 설정 가이드를 포함한다”고 덧붙였다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network