엔씨 AI “AI 립싱크, 후처리 없는 안정성이 핵심”

“게임 개발 현장의 실무진에게 인공지능(AI) 립싱크 기술의 화려한 품질은 최우선 순위가 아닙니다. 문제가 생기지 않는 안정성이 가장 중요하며, 인력을 투입해 애니메이션을 수정하는 후처리 작업이 없어야 합니다.”

장한용 엔씨 AI 실장이 17일 성남시 분당구 넥슨코리아에서 열린 ‘2026 넥슨개발자컨퍼런스(NDC)’에서 한 말이다. AI 립싱크는 단 한명의 성우 음성만 입력하면, AI가 스스로 발음을 분석해 게임 캐릭터의 자연스러운 입모양과 표정을 자동으로 만들어주는 기술이다.

장 실장은 게임 캐릭터 얼굴 애니메이션 자동화 기술을 도입하기 위한 필수 과제로 안정성 확보를 꼽았다. 엔비디아 오디오투페이스(Audio2Face), 에픽게임즈 메타휴먼 애니메이터(MetaHuman Animator)와 같은 범용 기술이 있지만, 게임 특유의 과격한 음성을 처리할 때 잦은 오류를 보여 실제 현장에 곧바로 적용하기 어렵다는 이유에서다.

그는 “엔비디아나 에픽게임즈 등에서 관련 기술을 무료로 공개했지만 상용 프로덕션에 넣기에는 한계가 있다”며 “게임 같은 경우에는 좀 과격하게 연기 톤으로 말을 많이 하는데, 보통 발화하는 음성 데이터에는 (과격한 톤이) 없기 때문에 엔비디아 기술을 적용하면 입술이 떨리는 오류가 생긴다”고 지적했다. 에픽게임즈 기술에 대해서도 “너무 부드럽게 재현이 돼 입술이 뭉개지거나 발음이 정확하게 표현되지 않는 한계가 있다”고 설명했다.

오류가 발생하면 개발사 소속 아티스트들이 수작업으로 3D 애니메이션을 다시 수정해야 한다. 비용과 시간을 줄이기 위해 AI를 도입했음에도 후처리에 여전히 많은 인력이 투입되는 상황이다. 장 실장은 “이런 부분들을 게임에 적용할 때는 다 후처리를 해야 해 여전히 많은 인력이 투입된다”며 “비용과 시간을 고려했을 때 (기존 기술들은) 적용하기 쉽지 않은 상황”이라고 강조했다.

엔씨 AI는 이런 후처리 과정을 원천 차단하기 위해 결과물의 편차를 줄이는 워크플로(Workflow)를 구축했다. 하나의 목소리를 게임 속 수백 명의 다양한 캐릭터에 맞춰 적용할 때 입모양이나 발음이 부자연스럽게 일그러지는 현상을 잡기 위해 리트리벌(Retrieval) 방식의 보이스 컨버전(Voice Conversion) 기술을 적용했다. 이는 미리 저장된 깨끗한 정답 데이터에서 알맞은 소리를 검색해 꺼내 쓰고, 어떤 특이한 목소리가 들어와도 AI가 헷갈리지 않게 표준 목소리로 변환해 주는 방식이다.

또 캐릭터의 개성 있는 표정이 혼합돼 윗입술과 아랫입술이 파고드는 기괴한 오류를 막고자 화자를 명확히 구분하는 아이디 임베딩 기술을 도입했다고 밝혔다. 아이디 임베딩은 각 캐릭터마다 고유한 디지털 이름표를 달아줘, AI가 여러 사람의 얼굴 특징을 뒤섞지 않고 해당 캐릭터만의 고유한 표정만 정확하게 그려내도록 안내하는 기술이다.

장 실장은 “품질보증을 거치지 않고 바로 게임에 적용할 수 있는 애니메이션을 완성했다”며 “기획자가 시나리오 스크립트만 입력하면 아티스트를 거치지 않고 자동으로 애니메이션이 생성돼 게임 엔진에 적용된다”고 말했다.