[NC AI] ‘게임서 쌓은 내공’ 자신만만…올해 쏟아낸다

<이전 기사: [NC AI] 패션 쫌 아는 바르코? 준비 많이 했네>

엔씨(NC)가 게임 제작으로 쌓은 내공을 창작 기업과 크리에이터(창작자)를 위한 기술 도구에 담는다. 자회사이자 인공지능(AI) 전문 기업인 NC AI가 올해부터 기업 대상으로 AI 창작 솔루션을 본격 세일즈하겠다는 목표를 세웠다. 이미 패션 도메인에 특화한 솔루션은 개념검증(PoC) 단계를 거치고 고객사를 확보했다.

최근 스페인 바르셀로나에서 개최한 ‘모바일월드콩그레스(MWC) 2025’에 참가해 이들 기술을 꺼내 놨다. ▲사진을 통한 아바타 생성 ▲감정 연기가 가능한 AI 음성합성(TTS) ▲음성 기반 얼굴 애니메이션 생성 기술을 결합한 체험형 데모 ‘아바타시프트(Avatarshift)’ 등 다양한 기술을 준비 중이다. 회사는 이들 기술을 어떻게 잘 세일즈할지 전략 수립 중이다.

최근 만난 임수진 NC AI 최고사업책임자(CBO)는 캐릭터 목소리 생성 기술인 ‘바르코(VARCO) TTS’을 시연하며 “’크하하하’를 읽는 게 아니라 크하하하 웃을 수 있는 게 핵심”이라며 ““게임 캐릭터로 맨날 하던 일”이라고 자신감을 보였다.

바르코 TTS의 특징은 감정 표현과 비언어적 표현 생성이다. TTS 도구에 따라 ‘크하하하’를 일반 발화처럼 처리하지만, 바르코 TTS는 실제 웃음처럼 목소리 톤을 생성했다. 예를 들어 ‘단호한 어투’, ‘굵고 거친 목소리’를 요구하면 게임 캐릭터가 해당 분위기의 연기 톤으로 발화했다.

또 다른 특징으로는 한국어와 영어, 일본어, 중국어(번체) 번역 발화가 가능하며, 남녀 목소리 구분도 가능하다는 것이다. 게임 개발 프로젝트에도 이 같은 기술을 적용한다.

세부 기술로는 ▲영상의 목소리 인식 (Speech-to-Text, STT) ▲인식된 텍스트를 번역(Machine Translation, MT) ▲텍스트로부터 목소리 생성 (Text-to-Speech, TTS) ▲목소리 음색 변형 (Voice Conversion, VC) 등이 있다. 스트리머의 목소리를 활용해 변환도 가능하다. 라이브 방송 중인 배우의 목소리를 바꾸는 시연도 선보였다. ‘AI 더빙(Dubbing)’ 기술로 통칭할 수 있다.

“(보이스 컨버전 기술 관련) 한국어 방송을 하는데 대만어를 입힐 수 있습니다. 드라마에도 이 기술이 들어갑니다. (방영 예정인 드라마에서) 배우가 대만어로 얘기하는데, AI 합성으로 만든 것이죠.”

‘SFX 음향 생성’ 기술에도 엔씨 게임의 내공이 담겼다. 게임 속 수많은 몬스터의 목소리를 만든 기술이 이제 기업이나 크리에이터도 활용할 수 있도록 공개된다. 작업자가 녹음하면 변환기를 거쳐, 몬스터 음성이 생성되는 식이다. 전문 성우를 대체할 정도의 품질이라고 강조했다.

엔씨가 자신감을 보인 ‘바르코 페이셜 애니메이터(VARCO Facial Animator)’ 기술도 있다. 앞서 언급한 ‘아바타시프트’처럼 외부 공개 시 기술명과 솔루션명이 달라질 수 있다.

이 기술은 입모양 애니메이션을 생성한다. 음성과 입모양이 맞도록 정확한 립싱크에 눈썹과 눈동자, 고개 움직임까지 추가해 높은 수준의 감정 표현이 가능하도록 기술 완성도를 끌어올렸다. 임 CBO는 성우 녹음 음성을 시연하며 “엔비디아(Nvidia A2F)보다 우리 기술이 뛰어나다”고 주장했다.

NC AI는 안정적 립싱크 성능을 확인했고, 실무 사용의 편의를 위해 언리얼 플러그인을 제공할 방침이다. 최소화한 포즈 셋업을 거치고 UE 플러그인을 설치하면 바로 사용이 가능하도록 한다.

‘바르코 보디 애니메이션(VARCO Body Animation)’도 자신하는 기술이다. 1만5000개 이상의 모션캡처 데이터를 자연어로 검색해 곧바로 활용할 수 있도록 한다. FBX 파일로 모션빌더, 마야, 언리얼에서 바로 사용 가능하다는 게 회사 설명이다.

모션캡처 데이터 공개는 콘텐츠 업계가 환영할 만한 행보다. 외부 공개된 모션캡처 데이터가 부족해, 필요할 경우 직접 비용을 들여 모션캡처를 하거나 외국 데이터를 구매 또는 기존 데이터에 별도 가공을 거치는 등 추가 공정이 필요했다.

“엔씨 직원들도 사용 중입니다. 모션캡처를 하려면 너무 시간이 많이 걸리잖아요. 데이터를 다 뽑아냈습니다. 라이브러리를 다운로드해서 적용할 수 있고요. 개발사들에게 릴리즈하려고 준비 중입니다. 패키징화해서 릴리즈할 수도 있고요. 검색도 가능하도록 만들고 프롬프트로 생성하고 쉽게 변경하도록 했습니다.”

<다음 기사에서 이어집니다>

글. 바이라인네트워크
<이대호 기자>ldhdd@byline.network