카카오, COLM 2026서 AI 연구 성과 발표…학습 최적화·모델 경량화 기술 공개

카카오가 언어모델링 국제학회 ‘COLM 2026’에서 대규모 인공지능(AI) 모델의 학습 비용을 줄이고 모델 크기를 경량화하는 연구 성과를 발표했다.

카카오는 언어모델링 국제학회 ‘COLM(Conference on Language Modeling) 2026’의 메인 컨퍼런스와 토크나이제이션 워크숍 ‘TokShop’에서 학습 최적화와 모델 경량화 연구 성과를 발표했다고 8일 밝혔다. COLM은 대규모 언어모델(LLM)과 언어모델링을 다루는 국제학회로, 2024년 신설됐다.

카카오는 이번 학회에서 전문가 혼합(MoE) 모델의 최적 학습률을 전체 학습 비용의 약 1%로 예측하는 방법과 모델의 매개변수 수를 최대 40.4% 줄이면서 테스트 성능을 최대 6.6% 개선한 기술을 발표했다.

메인 컨퍼런스에서 발표한 논문 ‘Let’s Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts’는 대규모 MoE 모델의 사전학습에 필요한 최적 학습률을 적은 비용으로 예측하는 방법을 다뤘다. 학습률은 AI 모델이 학습 과정에서 매개변수를 얼마나 조정할지 결정하는 값으로, 학습 안정성과 성능에 영향을 미친다.

카카오는 소규모 모델에서 찾은 학습 설정을 대규모 모델로 확장하는 ‘뮤-매개변수화(μ-Parameterization)’ 기법을 MoE 구조에 적용했다. 모델 크기와 학습 토큰량을 단계적으로 늘리면서 학습률을 탐색하고, 소규모 학습에서 찾은 설정을 대규모 학습에도 적용할 수 있는지 검증했다. 해당 방법은 카카오의 ‘Kanana-2.6-155b-a17b’ 모델 사전학습에 적용됐으며, 10조 토큰까지 학습하는 데 활용됐다.

또 TokShop 워크숍에서는 모델 크기를 줄이는 ‘BBT(BPE-Guided Byte Transformer)’ 구조를 공개했다. BBT는 기존 BPE(Byte Pair Encoding) 방식과 달리 바이트를 기본 단위로 사용하면서도 여러 문자를 묶어 처리하는 방식을 결합한 기술이다. 비교 실험에서 매개변수 수를 20.2~40.4% 줄이고 테스트 성능을 2.7~6.6% 개선했다.

카카오에 따르면 BBT는 오탈자나 문자 교란에 대한 대응 성능과 학습하지 않은 언어로의 전이 성능도 개선했다. 회사는 이를 온디바이스 AI와 다국어 환경 등에 활용할 수 있을 것으로 보고 있다.

카카오는 향후 해당 기술을 다양한 모델 구조와 멀티모달, 다국어 환경으로 확대 적용할 계획이다.

카카오 관계자는 “이번 연구들은 AI 모델의 성능을 유지하거나 향상시키면서도 학습 및 운영 비용을 낮출 수 있는 실용적인 해법을 제시했다는 데 의의가 있다”며 “앞으로 다양한 모델 구조와 멀티모달 및 다국어 환경으로 연구를 확장해 실제 서비스 활용 가능성을 높이며 글로벌 경쟁력 강화를 이어가겠다”고 말했다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network