일레븐랩스, ‘더빙 v2’ API 출시

일레븐랩스는 원본의 감정 표현과 퍼포먼스를 그대로 재현하는 새로운 더빙 AI 모델 ‘더빙 v2(Dubbing v2)’를 ‘일레븐API’로 제공한다고 10일 밝혔다.

‘더빙 v2’는 지난 2026년 5월 28일 UI 버전으로 먼저 공개됐다. API 공개를 통해 개발자와 기업이 자사의 제품 및 워크플로우에 직접 연동하고 통합할 수 있게 됐다.

‘더빙 v2’는 음성을 음성으로 직접 변환하는(audio-to-audio) 아키텍처를 채택한 모델이다. 기존의 ‘음성 인식-번역-음성 합성(클론 보이스)’ 파이프라인 방식과 달리, 입력된 음성을 기반으로 음성 출력을 직접 생성하기 때문에 원본의 감정 표현과 퍼포먼스의 섬세한 뉘앙스를 더욱 충실하게 반영할 수 있다.

감정과 퍼포먼스 재현력을 향상시켜 원본 음성의 감정과 뉘앙스를 더욱 자연스럽게 전달하고, 화자 본인의 목소리를 복제해 더욱 자연스러운 다국어 번역을 제공한다. 발화 타이밍이 영상과 자연스럽게 맞도록 설계됐다. 지원 언어로 한국어와 일본어를 포함한 전 세계 92개 언어를 제공한다.

라이브 스트리밍 영상 등의 실시간 다국어 더빙 기능은 이번 출시 범위에는 포함되지 않았다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network