일레븐랩스, 보이스 AI 에이전트로 진화 “연기부터 대출 심사까지”

AI 음성 기술이 단순 문장을 읽어주는 기능에서 다국어 더빙과 고객 상담 등 기업 업무를 수행하는 대화형 에이전트 단계로 확장되고 있다. 일레븐랩스는 화자의 감정과 숨소리까지 살린 말투를 반영한 음성 제작부터 고객 전화 응대, 대출 심사 등 업무 자동화까지 아우르는 AI 음성 기술의 활용 방안을 제시했다.

이창현 일레븐랩스 한국 시장진출(GTM) 세일즈 담당은 ‘AI 시대를 선도하는 보이스 AI’ 주제로 진행된 바이라인플러스 웨비나에서 “보이스 AI가 에이전틱 AI 시대의 핵심 인터페이스로 부상했다”고 강조했다.

일레븐랩스 플랫폼은 현재 5000만명 이상의 일반 사용자와 포춘 500대 기업 가운데 75%가 해당 플랫폼을 실무에 채택하고 업무에 도입해 활용 중이다.

이창현 담당은 개인 창작자와 미디어 기업을 위한 문자를 음성으로 변환하는 텍스트투스피치(TTS) 기술 및 더빙 기술도 소개했다. 일레븐랩스 ‘TTS v4’ 모델은 오디오 태그 입력만으로 화자의 감정과 숨소리를 조절하거나 한 명의 목소리로 여러 인물을 연기하는 음성을 생성한다. 실제로 시연에서 TTS v4 모델은 화자의 목소리에 오디오 태그를 추가해 여러 인물의 대사를 구현하는 모습을 선보였다.

‘더빙 v2’는 원본 영상의 오디오와 감정을 유지하며 대사를 92개국 언어로 자동 변환하는 기능을 갖췄다. 사용자가 입력한 프롬프트를 바탕으로 억양과 음성 특징을 설정할 수 있으며, 최대 1000자 분량의 설명을 입력해 맞춤형 목소리를 생성할 수 있다고 이 담당은 설명했다.

더빙 v2의 대표적인 적용 사례로 글로벌 유튜브 크리에이터 미스터비스트가 있다. 미스터비스트는 해당 기술을 채택해 다국어 채널 운영에 활용하고 있다. 이 담당은 원본 영상의 특성을 유지하면서 다른 언어로 콘텐츠를 제공할 수 있다는 점을 주요 기능으로 설명했다.

그는 “더빙 모델은 원본 비디오와 오디오, 각 인물의 감정까지 함께 출력되는 토탈 모델”이라며 “자신의 연기와 콘텐츠를 여러 언어로 지원해 지구 반대편의 현지 시청자들과도 소통할 수 있게 된 것”이라고 덧붙였다.

미디어 산업 전반에 걸친 또 다른 적용 사례들도 있다. IT 업체 램프는 슈퍼볼 광고 제작에 해당 기술을 활용해 제작 시간을 단축했다. 미국의 시사 주간지인 타임지는 자체 미디어 콘텐츠에 음성을 입혔으며, 영상 제작 플랫폼 크리에이터킷은 실제 사람과 유사한 AI 액터 기반 비디오 광고를 제작했다. 오디오 플랫폼 포켓에프엠은 해당 기술을 도입해 콘텐츠 제작 비용을 90% 절감했다. 또 일레븐랩스의 전담 인력이 음성 품질을 별도로 교정하는 더빙 스튜디오 서비스를 거친 영상은 기존보다 조회수가 3000만회 증가한 것으로 나타났다.

일레븐랩스는 AI 음성 창작 생태계와 수익 배분 구조도 소개했다. 회사는 1만5000개 이상의 목소리를 보유한 음성 라이브러리를 운영하고 있으며, 사용자가 기증한 목소리가 다른 콘텐츠에 일정 횟수 이상 사용되면 수익 일부를 원작자에게 배분하는 방식이다. 이 방식을 통해 회사는 수천만달러 규모의 수익을 창작자에게 배분한다. 이 담당은 “추가적인 보이스 사용에 대한 수익까지 함께 공유하면서 건강한 AI 생태계를 만들어 가고 있다”고 설명했다.

이어 음성·음악·이미지·영상 생성 모델 50여개를 연동한 노드 기반 플랫폼 플로우도 소개했다. 사용자는 하나의 작업 화면에서 여러 생성형 AI 모델을 연결해 콘텐츠를 기획할 수 있다. 외부 LLM 환경에서 일레븐랩스의 기능을 직접 호출 및 제어할 수 있도록 모델컨텍스트프로토콜(MCP)을 연동하고, 대형 음반사와 제휴해 저작권 문제없이 배경음악을 추출하는 기능도 제공한다.

기업 업무 자동화 분야에서는 기업 간 거래(B2B) 시장을 겨냥한 일레븐 에이전트를 통해 고객 응대와 영업 업무를 지원한다. 일레븐 에이전트는 자체 음성 엔진에 클로드, 오픈AI, 제미나이 등 외부 LLM을 결합한 대화형 AI 플랫폼이다. 정해진 답변을 제공하는 기존 규칙 기반 챗봇과 달리 대화 맥락에 맞춰 응답하고 업무를 처리할 수 있다.

기업은 업무 환경에 따라 응용프로그램인터페이스(API) 연동, 기존 텍스트 챗봇과의 결합, 전체 시스템 구축 등 세 가지 방식으로 에이전트를 구성할 수 있다. 30개국 이상의 언어를 지원하며 고객관계관리(CRM)와 컴퓨터통신통합(CTI) 시스템과도 연동된다. 고객 문의 대응 과정에서는 배송 지연 등 단순 문의를 AI 에이전트가 먼저 처리하고, 복잡한 사안은 이전 대화 내용을 포함해 상담원에게 전달한다. 상담원이 앞선 대화 내용을 전부 확인하지 않고도 문의 맥락을 파악해 대응할 수 있도록 하는 방식이다.

실제 도입 사례에서는 고객 응대 자동화와 대출 심사, 문의 처리 속도 개선 등의 성과가 있다. 인도 이커머스 기업 미쇼는 매일 접수되는 6만건의 문의 전화 중 90%를 보이스 에이전트로 자동 처리해 운영비를 75% 절감했다. 미국 핀테크 기업 베러는 대출 자격 심사에 AI를 도입해 대출 승인에 적합한 고객을 선별하고, 리드투락 전환율을 2배 높였다. 리드투락은 잠재 고객의 단순 대출 문의가 실제 대출 승인 및 금리 확정으로 이어지는 최종 전환율을 뜻하는 금융·영업 용어다. 유럽 금융사 레볼루트는 다국어 지원 에이전트를 도입해 고객 문의 처리 속도를 8배 개선했다.

이탈리아 부동산 플랫폼 임모빌리아레는 예산과 가족 구성 등의 조건을 바탕으로 고객을 선별하는 데 AI를 활용했다. 임모빌리아레는 이를 통해 유효 고객 판별률을 19%에서 63%로 증가시켰다고 이 담당은 밝혔다. 글로벌 비즈니스프로세스아웃소싱(BPO) 기업 텔루스디지털은 상담원 교육용 시뮬레이션에 AI 에이전트를 적용했다. 스웨덴 결제 기업 클라나는 미국 내 고객 3500만명을 대상으로 1차 전화 응대를 자동화했으며, 여행사 이드림스는 기존 자동응답시스템(IVR)을 5개 국어를 지원하는 AI 에이전트로 대체했다.