래블업, 한국어 답변 속도 높이는 추론 가속 모델 공개

래블업은 한국어 질의와 한국어 에이전트 작업에서 대규모 언어 모델(LLM)의 답변 속도를 높이는 드래프트 모델 ‘GLM-5.2-NVFP4-DFlash-ko’를 한글날인 9일 허깅페이스에 오픈소스로 공개했다고 12일 밝혔다.

이 모델은 z-lab에서 공개한 DFlash 방식을 적용한 드래프트 모델이다. Z.ai의 오픈 LLM인 GLM-5.2를 엔비디아의 4비트 부동소수점 형식(NVFP4)으로 구동할 때 이 모델을 함께 쓴다. 개발자와 기업은 허깅페이스의 래블업 저장소에서 모델을 내려받을 수 있다.

드래프트 모델은 투기적 디코딩(Speculative Decoding)에 쓰는 작은 모델이다. 드래프트 모델이 다음에 올 토큰 여러 개를 미리 추측하면, 답변을 내는 큰 모델이 추측한 토큰을 한 번에 검증해 통과한 토큰만 받아들인다. 최종 판정은 큰 모델이 하므로 답변 품질을 유지하면서 속도를 높일 수 있고, 추측이 자주 맞을수록 효과가 커진다. DFlash는 드래프트 모델이 토큰을 하나씩 차례로 추측하지 않고 여러 개를 한 번에 만들어 내는 방식이다.

래블업이 확인한 결과, 영어 데이터로 학습한 기존 드래프트 모델은 한국어 질의와 한국어 에이전트 작업에서 영어 질의 및 영어 에이전트 작업 대비 추측 적중률이 떨어져 가속 효과가 줄었다. 래블업은 한국어 데이터로 드래프트 모델을 학습해 한국어에서도 가속 효과가 유지되도록 했다. 실제 한국어 에이전트 트래픽으로 측정한 이번 모델의 평균 수락 길이(MAL, 검증 한 번에 받아들여지는 토큰 수의 평균)는 에이전트 작업과 한국어 질의에서 각각 2.71과 2.77로 영어 DFlash 모델의 가속 성능과 거의 같았다. 영어로 학습한 드래프트 모델은 에이전트 작업과 한국어 질의 사이에서 평균 수락 길이가 1.x대로 낮았다.

래블업은 이번 모델에 이어 Z.ai의 GLM-5.3-Flash용 한국어 드래프트 모델도 개발하고 있다.

이와 별도로 래블업은 한국어 디퓨전 언어 모델을 처음부터 학습하고 있다. 약 110억(11B) 매개변수 규모로, 로컬 기기에서 에이전트 작업에 쓸 수 있는 온디바이스 모델을 목표로 한다. 학습은 B200 64장 규모의 GPU 클러스터에서 진행하며, GPU 자원 일부는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 ‘첨단 GPU 활용 지원 사업’으로 지원받았다.

래블업 신정규 대표는 “드래프트 모델이 영어로 학습돼 있으면 한국어 사용자는 투기적 디코딩의 가속 효과를 온전히 얻기 어려웠다”며 “AI 서비스를 만드는 개발자와 기업이 한국어 환경에서도 가속 효과를 얻을 수 있도록 한글날에 맞춰 한국어 드래프트 모델을 공개한다”고 밝혔다.

그는 “래블업은 AI 인프라 소프트웨어를 만들며 쌓은 경험을 바탕으로 한국어 모델 개발까지 사업 범위를 넓히고 있다”고 덧붙였다.