일레븐랩스, 차세대 음성 모델 ‘일레븐 v4’ 출시

AI 오디오 기업 일레븐랩스는 가장 빠르고 감정 표현이 뛰어난 텍스트 음성 변환(TTS) 모델인 ‘일레븐 v4(Eleven v4)’와 저지연 특화 모델 ‘일레븐 v4 터보(Eleven v4 Turbo)’를 출시했다고 1일 발표했다.

기존 세대의 텍스트 음성 변환 모델이 텍스트를 단순히 소리 내어 읽는데 그쳤다면, 일레븐 v4는 이를 한 편의 연기와 같은 수준으로 소화해 낸다. 텍스트에 담긴 어조와 말의 속도, 인물의 성격과 맥락을 해석해 긴박하고 극적인 분위기부터 다정하거나 익살스러운 느낌까지 감정이 살아 있는 음성을 구현한다. 사용자는 자연어로 문장을 어떻게 말할지 설명해 표현 방식을 세밀하게 조정할 수 있다. 또한 ‘[웃음]’, ‘[영국식 억양으로 화난 듯 말함]’, ‘[가벼운 빗소리]’, ‘[휴대전화 진동음]’과 같은 문장 내 태그를 사용해 발화 방식, 감정, 음향 효과, 스타일을 지정할 수도 있다.

특히 일레븐 v4는 이전 세대인 일레븐 v3 대비 일관성이 대폭 향상됐으며, 다자간의 역동적인 대화를 구현하는 능력이 크게 개선되었다. 새로운 화자 식별 방식을 적용해 음성을 여러 차례 생성하더라도 각각의 목소리의 고유한 특징을 유지하며, 대화와 오디오북, 광고 전반에서 일관된 음성을 제공한다. 또한 장면 전체의 맥락을 이해하고 앞서 나온 발화에 화자가 반응하도록 대화를 생성해, 개별 문장을 단순히 이어 붙인 것보다 자연스러운 대화 흐름을 구현한다.

과거에는 고품질 음성 모델일수록 음성 생성에 시간이 오래 걸려, 기업들이 음성 에이전트를 도입할 때 빠른 응답 속도와 풍부한 표현력 중 하나를 선택해야만 했다. 이로 인해 많은 기업이 정확하지만 말투가 단조로운 톤의 음성 에이전트를 도입할 수밖에 없었고, 이는 당황하거나 감정적으로 격앙된 고객에게 기계적이고 차가운 인상을 주곤 했다.

‘일레븐 v4 터보’는 빠르고 매끄러운 대화를 이어가면서도 뛰어난 표현력을 갖춘 에이전트를 구축할 수 있도록 지원한다. 첫 응답을 생성하는 데 걸리는 중간 추론 지연 시간이 평균 100밀리초(ms)에 불과해, 두 사람이 대화하는 평균 일시정지보다 더 빠르게 응답할 수 있으며, 실시간 상호작용 속에서도 일레븐 v4 특유의 풍부한 감정 표현력을 그대로 제공한다.

속도와 감정의 결합은 의료 분야에서 의학 용어를 정확히 발음하며 따뜻하고 안도감을 주는 안내 에이전트로부터, 게이밍 분야에서 빠른 말솜씨와 은어를 구사하며 이용자를 즐겁게 하는 엔터테인먼트 에이전트에 이르기까지 다양한 산업에 폭넓게 적용될 수 있다.

일레븐 v4 터보는 일레븐랩스의 대화형 에이전트 플랫폼인 ‘일레븐에이전트’와 원활하게 연동되도록 설계됐다. 일레븐랩스 연구 및 엔지니어링 팀은 일레븐 v4 터보와 일레븐에이전트를 단일 시스템으로 최적화하여 한층 표현력이 뛰어나고 안정적이며 지연 시간을 최소화한 에이전트 경험을 구현했다.

진정한 원어민 수준의 음성을 생성하려면 특정 언어의 단어 발음을 마스터하는 것 이상의 역량이 요구된다. 언어마다 고유한 리듬이 존재하며, 같은 언어를 사용하더라도 지역에 따라 말투와 감정 표현의 관습이 다르며, 이는 대화 상대가 누구인지에 따라서도 달라진다. 예를 들어 일본에서 낯선 어르신에게 말을 건네는 방식은 이탈리아에서 건네는 방식과 확연히 다르다.

일레븐 v4는 기존 v3에서 지원하던 70개 언어를 넘어 90개 이상의 언어에서 표현력이 풍부하고 사람 수준의 자연스러운 음성을 제공한다. 텍스트에서 맥락과 인물의 특성을 파악하여 선택한 언어에 더욱 자연스럽게 어울리는 음성을 구현한다. 전 언어 영역에 걸쳐 음질이 개선되었으며, 특히 일본어, 중국어(만다린), 브라질 포르투갈어 등에서 두드러진 성능 향상을 보였다.

글로벌 시장 진출을 모색하는 브랜드와 콘텐츠 제작자를 위해, 일레븐 v4는 고유한 음성 특성을 유지한 채 언어와 억양을 전환할 수 있는 기능을 제공한다. 일례로 한국어로 녹음된 음성을 원어민 악센트의 영어로 낭독하도록 변환하면서도 원본 음성 고유의 음높이(피치)와 음색은 그대로 유지할 수 있다.

음성 에이전트는 고객의 신원 확인부터 건강 상태 상담, 금융 자산 관리에 이르기까지 기업 비즈니스에서 가장 민감한 대화를 다룬다. 일레븐 v4 및 일레븐 v4 터보의 활용도가 가장 큰 의료, 금융 서비스, 공공 부문 등의 산업군은 엄격한 안전, 보안 및 규제 준수 기준을 요구한다.

이에 맞춰 일레븐랩스는 유럽연합 개인정보보호규정(GDPR), 미국 건강보험 이동성 및 책임법(HIPAA), SOC 2, PCI 등 글로벌 보안 규정을 준수하며, 미국, EU, 싱가포르, 인도 등 다양한 지역에 데이터 레지던시(데이터 저장) 옵션을 제공한다.

더욱 표현력이 뛰어난 모델의 가치를 극대화하기 위해서는 음성 아이덴티티를 철저히 보호하는 체계가 필수적이다. 일레븐랩스의 전문가용 음성 복제 툴을 사용하려면 동적으로 생성된 문구를 제한된 짧은 시간 내에 읽어 본인 음성을 인증하는 ‘음성 캡차(Voice CAPTCHA)’를 통과해야 하며, ‘노고 보이스(No-Go Voices)’ 안전장치를 통해 정치인 및 주요 공인의 음성 복제를 방지한다.

피오트르 다브코프스키 일레븐랩스 공동창립자 겸 최고기술책임자(CTO)는 “일레븐 v4는 더욱 폭넓은 감정 표현 범위와 세밀한 제어 기능을 제공하는 완전히 새로운 아키텍처를 기반으로 설계됐다”며 “오디오와 운율에 대한 깊은 이해도를 바탕으로 더욱 풍부한 연기력과 화자 간 자연스러운 대화를 구현한다”고 설명했다.

그는 “개발 초기부터 저지연 활용 사례를 염두에 두고 설계한 만큼, 대화형 에이전트 분야에도 동일하게 뛰어난 표현력을 제공할 수 있게 돼 매우 뜻깊다”고 밝혔다.

이번에 출시된 두 모델 모두 일레븐크리에이티브, 일레븐에이전트, 일레븐API에서 이용 가능하다.

마티 스타니셰프스키 일레븐랩스 공동창립자 겸 최고경영자(CEO)는 “AI는 과학과 코딩 분야에서 놀라운 발전을 이루고 있지만, 경제와 사회의 많은 영역에서는 AI의 추론 능력 자체만큼 사람과 소통하는 방식이 중요하다”며 “일레븐 v4는 그동안 AI에 결여되어 있던 풍부하고 표현력 넘치는 커뮤니케이션 능력을 제공한다”고 밝혔다.

그는 “폭넓은 감정 표현과 문맥 인지 능력을 바탕으로 전 세계 더 많은 시장에서 예술 창작과 에이전트 경험을 한 차원 높여줄 것”이라고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network