S2W, LLM 환각 일으키는 토크나이저 결함 규명

에스투더블유(S2W, 대표 서상덕)는 대규모언어모델(LLM)의 토큰화 구조에서 발생하는 근본적 취약점을 규명한 논문이 글로벌 자연어처리(NLP) 학회인 ‘자연어처리방법론학회(EMNLP) 2025’에 채택됐다고 10일 밝혔다.

이번 논문은 한국과학기술원(KAIST)과의 공동 연구 결과로, LLM의 핵심 구성요소인 ‘토크나이저(Tokenizer)’가 비영어권 언어를 처리할 때 발생할 수 있는 환각(Hallucination) 현상의 구조적 원인을 밝혀냈다.

EMNLP는 ‘전산언어학학회(ACL)’와 ‘북미전산언어학학회(NAACL)’와 함께 세계 3대 인공지능(AI) 언어 학술대회로 꼽힌다. S2W는 2022년 다크웹 언어 연구, 2023년 다크버트(DarkBERT) 모델, 2024년 사이버튠(CyBERTuned) 연구에 이어 올해까지 4년 연속 글로벌 AI 학회에 논문을 등재했다.

S2W 연구진이 발표한 논문 제목은 ‘바이트 레벨 토크나이저 내 불완전 토큰의 취약점을 드러낸 비정상적 바이그램(Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers)’이다. 논문은 LLM의 내부 문장 분석 과정에서 문자를 분절해 처리하는 토크나이저가 일부 문자를 완전히 인식하지 못해 ‘불완전 토큰’을 남기며, 이로 인해 모델이 존재하지 않는 정보를 생성하는 환각 현상이 발생할 수 있음을 밝혔다.

특히 이러한 오류는 영어보다 비영어권 언어에서 더 빈번히 나타난다는 점을 실험으로 확인했다. 영어가 한 글자당 1바이트(byte)로 구성되는 반면, 한국어·일본어·중국어 등은 여러 바이트로 이뤄져 있다. 따라서 ‘바이트 페어 인코딩(BPE)’ 기반 토크나이저는 문자를 바이트 단위로 분리하는 과정에서 글자의 중간이 잘려 나가는 불완전 토큰을 생성하기 쉬우며, 이는 비영어권에서의 의미 복원 실패와 문맥 왜곡을 유발해 환각 가능성을 높이는 요인으로 작용한다.

박근태 에스투더블유 최고기술책임자(CTO)는 “이번 연구는 각국이 자국 언어와 데이터를 기반으로 AI를 개발해야 하는 ‘소버린(Sovereign) AI’ 논의에 중요한 시사점을 던진다”며 “토크나이저가 영어 외 언어를 안정적으로 처리하지 못한다면 신뢰할 수 있는 국가 단위 AI 모델 운영도 어렵다”고 말했다. 이어 “S2W는 신뢰할 수 있는 AI를 만들기 위한 선도적 연구를 지속할 것”이라고 덧붙였다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network