허드슨에이아이, 더빙 자동화 솔루션 ‘현지화 AI 에이전트’ 공개

미디어 콘텐츠 특화 음성 AI 기업 허드슨에이아이는 복잡한 영상 콘텐츠의 더빙 제작부터 품질 검수까지 자동으로 처리하는 ‘현지화 AI 에이전트’를 공개했다고 26일 밝혔다.

이번에 공개한 현지화 에이전트는 허드슨에이아이의 AI 더빙 플랫폼 ‘허드슨 스튜디오’를 기반으로 영상 속 화자 분리부터 맥락 분석, 감정 연기, 품질 검수까지 더빙 전 과정을 스스로 수행하는 에이전트 시스템이다. 그동안 전문 제작 인력이 깊이 관여해야 했던 고난도 미디어 더빙을 최소한의 수작업만으로 높은 완성도를 낼 수 있는 것이 특징이다.

기존 AI 더빙 기술은 여러 인물이 나오거나 감정 표현이 복잡한 콘텐츠에서는 여전히 전문 인력의 품질 검수(QC)와 수작업 보정에 크게 의존해야 했다. 특히 번역이 자연스러운지, 인물별 말투와 감정 연기가 적절한지, 비언어적 표현이 제대로 살아 있는지를 하나하나 확인하고 고치는 과정은 대규모 콘텐츠 현지화에서 제작 비용을 늘리고 일정을 지연시키는 주요 병목으로 꼽혀 왔다.

허드슨에이아이의 현지화 AI 에이전트는 40명 이상의 화자를 식별하고, 여러 사람이 동시에 말하는 중첩 발화까지 분리해 낸다. 출연자들의 말이 수시로 겹치는 예능 프로그램이나 인물이 많은 드라마에서도 화자별 음성을 따로 처리할 수 있다. 화자를 구분하는 방식도 달라졌다. 기존에는 발화자를 화자 1, 화자 2로 번호로만 나눴다면, 현지화 AI 에이전트는 콘텐츠의 흐름을 분석해 인물의 역할과 관계를 파악하고 캐릭터별 이름과 식별 정보를 붙인다. 이렇게 파악한 인물 정보와 장면의 맥락을 바탕으로 상황에 맞는 번역과 감정 표현을 자동으로 만들어 낸다.

그동안 허드슨에이아이는 품질 검수(QC)의 90% 이상을 자동화했다. 전문 번역가의 검수·수정 데이터를 학습시킨 에이전트가 더빙 결과물의 품질을 스스로 판단하고 사람의 확인이 필요한 구간만 골라내면, 검수 분량을 기존의 10분의 1 수준으로 줄었다. 웃음, 한숨, 숨소리 같은 비언어적 음성도 자동으로 잡아내 더빙 목소리의 음색에 맞게 변환해, 대사와 비언어적 연기가 끊김 없이 이어지도록 했다. 이에 따라 여러 인물의 대사와 감정이 뒤엉킨 드라마, 영화, 예능, 애니메이션도 손이 많이 가는 후반 작업에 크게 기대지 않고 현지화할 수 있게 됐다.

회사는 이달 12~15일 프랑스 칸에서 열린 세계 최대 방송영상 콘텐츠 마켓 ‘MIPCOM 2026’에서 현지화 AI 에이전트를 처음 선보였다. 이후 글로벌 주요 미디어 기업들과 실제 콘텐츠로 기술 검증(PoC)을 진행하고 있으며, 일본어, 영어, 중남미 스페인어, 브라질 포르투갈어, 아랍어, 프랑스어 등 현지화 수요가 많은 주요 언어의 더빙 품질 테스트도 마쳤다. 이를 발판으로 글로벌 방송사와 OTT 플랫폼이 보유한 방대한 콘텐츠 라이브러리의 해외 유통을 넓힌다는 전략이다. 그동안 제작비와 검수 비용 부담 때문에 현지화를 엄두 내지 못했던 콘텐츠도 AI 자동화로 비용 장벽이 낮아지면서 여러 언어권 시장에 공급될 수 있을 것으로 기대된다.

신현진 허드슨에이아이 대표는 “전통적인 더빙 방식은 제작비가 많이 들고 기간도 길어 물량을 늘리기 어렵다. 그렇다고 AI로 더빙 음성만 만든다고 문제가 풀리는 것도 아니다. 사람이 결과물을 일일이 검수하고 고쳐야 한다면 AI 더빙도 결국 같은 벽에 부딪히기 때문”이라며 “진정한 현지화 자동화란 음성 생성을 넘어 방송에 바로 쓸 수 있는 결과물을 완성하는 단계까지 자동으로 처리하는 것이다. 이번 에이전트로 글로벌 미디어 기업들이 방대한 콘텐츠를 경제적으로 현지화하고 새로운 해외 시장에서 수익을 낼 수 있도록 돕겠다”고 말했다.

글. 바이라인네트워크
<오민선 기자> omsoms94@byline.network