진짜같은 목소리에서 오디오 AI 플랫폼으로, 일레븐랩스의 진화
실제 사람의 목소리 같은 텍스트투스피치(TTS) 기술로 유명세를 탄 AI 스타트업 일레븐랩스가 진화하고 있다. 이제 오디오 중심의 AI 콘텐츠 플랫폼 회사로, 엔터프라이즈 에이전트 플랫폼으로 나아가고 있다. 강점을 살려 크리에이티브 시장을 노리면서, AI 플랫폼에 유연성, 안정성, 거버넌스 등을 높이며 기업 시장을 향한다.
홍상원 일레븐랩스 일본·한국 GTM 총괄은 최근 본지와 인터뷰에서 “일레븐랩스는 오디오 AI 플랫폼 회사로 변화를 가속하면서, 비즈니스 규모도 크게 확대하고 있다”며 “TTS v3가 나오며 성숙도를 높였고, 차원이 다를 정도의 자연스러운 음성 더빙을 선보였으며, 작년 출시한 음악 생성 AI ‘뮤직’이 v2를 통해 품질을 크게 높였다”고 밝혔다.
이어 “그리고 개별 제품뿐만 아니라 모든 기술을 하나로 합친 AI 에이전트를 강화하고 있다”며 “파트너십 강화를 통해 엔터프라이즈 AI 에이전트 시장을 공략하고 있다”고 강조했다.
올해 일레븐랩스는 핵심 제품인 TTS, STT, 더빙 등 음성 모델을 고도화하고, 뮤직과 크리에이티브 제품군을 공격적으로 확장하고 있다. 동영상, 이미지, 오디오 등 멀티미디어를 다루는 콘텐츠 크리에이터의 저작 플랫폼으로서 입지를 다지는 중이다. 이에 더해 엔터프라이즈 운영 기능, 데이터 주권, API 성능, 인프라 및 컴플라이언스 레이어 등을 강화했다.
일레븐랩스는 전세계적으로 독보적인 AI 기반 오디오 합성 기술을 보유했다. 음성 합성, 음성인식, 음성복제, 더빙, 음악, 효과음 등 모든 유형의 오디오 관련 AI 에이전트를 제공할 수 있다. 여기에 전체 워크플로우 안에서 다양한 목적에 맞는 오픈웨이트 및 상용 AI 모델을 사용하게 해 전반의 콘텐츠 제작 작업을 지원한다.
전세계적으로 오디오 AI 시장은 240억달러 수준으로, 2034년까지 1000억달러로 확대될 것으로 예상될 정도로 떠오르는 분야다. 전체 시장에서 오디오 AI 지출이 매년 20~30% 성장하고 있다고 한다. 하지만, 대형 프론티어 모델들이 성능과 역량을 높이면서 멀티미디어 콘텐츠 부분을 강화하는 상황이다. 일레븐랩스 같은 특정 영역에 특화된 AI 모델을 개발하는 회사로선 큰 도전에 직면했다. 그럼에도 일레븐랩스는 자신감을 보인다.
홍상원 총괄은 일레븐랩스의 경쟁력을 오디오 영역 풀스택 보유, 표현력, 속도와 경제성, 모델 종속 탈피, 거버넌스 등으로 꼽았다.
홍 총괄은 “일레븐랩스의 AI는 단순히 문자를 음성으로 변환하는 게 아니라 문맥을 이해하고 표현력을 제대로 뽑아내는 가장 정확한 모델”이라며 “품질과 동시에 짧은 지연시간과 단가를 동시에 확보했으며, 전체 에이전트 워크플로우에서 모델을 특정 프론티어 모델에 종속되지 않고 자유롭게 구성할 수 있다”고 설명했다.
그는 “특히 음성은 복제 오남용의 위험성이 크기 때문에, 목소리를 복제할 때 반드시 동의를 받고, 동의를 받더라도 규제 범위를 넘어선 음성의 합성을 노출하지 않으며, 문제없이 합성되는지 전속팀이 실시간으로 모니터링하는 3C 원칙 하의 강력한 거버넌스 체계를 가졌다”며 “또한 음성을 제공한 사용자에게 해당 음성의 활용에 따라 발생하는 수익을 배분하는 보상 체계도 갖고 있다”고 덧붙였다.
일레븐랩스는 단순히 프론티어 모델과 1대1 경쟁구도를 만들지 않는다. 오히려 공생 관계다.
홍 총괄은 “프론티어 모델과 경쟁하기보다 보완관계를 설정하고, LLM이 두뇌를 맡고 일레븐랩스가 입과 귀의 역할을 맡는 전략”이라며 “일레븐에이전트의 경우 시중의 클로드나 제미나이, GPT 등을 자유롭게 LLM으로 쓰고, 오디오를 생성해야 하는 영역에서 독보적으로 짧은 지연시간과 저렴한 단가로 이용할 수 있는 일레븐랩스의 모델을 쓰게 한다”고 말했다.
그는 “일레븐랩스의 플래시 2.5 모델의 경우 음성 합성을 75밀리초 안에 만들 수 있고, 음성 인식은 150밀리초 안에 가능하므로, 첫 대화 입력 후 300밀리초 안에 대화를 생성할 수 있다”며 “프론티어모델로 음성 AI를 구성하면 우리보다 2배 이상 비싼데, 일레븐랩스 모델은 단가를 올해만 45~55% 낮추는 등 가격 경쟁력도 높이고 있다”고 덧붙였다.
미니맥스, WAN 등 비디오 AI 모델의 음성 합성으로 확장에도 자신감을 보인다. 홍 총괄은 “LLM에서 가진 음성 모델은 텍스트 입력을 음성화하는 단계를 거쳐서 감정이나 호흡, 강세 같은 사람의 표현력을 조금씩 잃게 된다”며 “일레븐랩스의 경우 더빙을 예로 들면, 오디오를 그대로 입력값으로 받아 언어만 변화해서 오디오로 뽑아내므로, 그 안의 감정을 그대로 살려 뽑아낼 수 있다”고 말했다.
그는 “그리고, 프론티어 모델로 대량의 음성을 뽑아내면 안정성이 높지 않으며, 실제로 많은 AI 서비스 제품 회사가 음성 계층에 일레븐랩스를 쓸 수 있게 해두는 게 안정성 면에서 우월하다는 걸 증명한다”며 “프론티어 모델의 경우 문장의 길이가 길어지면 오디오 품질이 떨어지고, 생성가능한 길이에도 제한이 있는 반면, 일레븐랩스는 용량 제한 없이 맥락을 자연스럽게 이어갈 수 있다”고 강조했다.
일레븐랩스의 최신 STT 모델 ‘스크라이브(Scribe) v2’는 장문의 오디오, 긴 침묵, 화자 변화 등에 더 안정적으로 대응하게 됐고, 대규모 미디어 운영 용도에도 사용가능해졌다. TTS 모델 ‘일레븐 v3’는 숫자, 기호, 전문 표기의 읽기 정확도가 크게 개선됐다. 자연스러운 감정을 전달할 뿐 아니라 숫자와 기호를 실제 업무 문맥에 따라 정확하게 읽어낸다고 한다. TTS API는 사용자에게 가까운 리전으로 자동 라우팅돼 체감 지연 시간을 20~40% 감소시켰다. 에이전트 제품인 ‘일레븐에이전트’는 고객지원 분야 활용성과 솔루션 연동을 고도화하고, 지원 자동화까지 이어지게 하고 있다.
그리고, 이미지 생성, 영상, TTS, 립싱크, 효과음, 음악 등을 하나의 캔버스에서 연결하는 ‘일레븐크리에이티브’가 생성된 콘텐츠를 계속 재사용 할 수 있게 크리에이티브 파이프라인을 만들어준다. 입력만 바꾸면 대량으로 새 콘텐츠를 생성하고 테스트까지 할 수 있다.
엔터프라이즈 시장 공략도 본격화됐다. 모델은 클라우드뿐 아니라 온프레미스와 디바이스 차원에도 배포할 수 있게 됐다. 공공, 국방, 규제산업 등의 고객을 겨냥한 것이다.
일레븐랩스가 한국에서 접근하는 시장은 우선 미디어, 엔터테인먼트 산업의 글로벌 진출이다. 콘텐츠를 다원화해 전세계에 확장하도록 지원하는데 집중하고 있다. 그리고 오디오와 커뮤니케이션 중심으로 이뤄지는 기업 업무 영역을 공략하고 있다.
홍 총괄은 “중장기적으로 고객경험, CS 분야 종사자의 업무 효율성을 높일 수 있는 AI 에이전트에 초점을 맞추려 한다”며 “그밖에 기업의 교육, 언어 학습 등에 쓰이는 음성 학습용 에이전트에서도 비즈니스를 창출하려 하고 있다”고 밝혔다.
그는 “한국 독자적으로 앰버서더 프로그램을 운영해, 국내 크리에이터를 일레븐랩스 앰버서더로 모셔서 우리 플랫폼을 활용하도록 지원해 더 좋은 콘텐츠를 만들 수 있다는 걸 어필하려 한다”며 “또한 정부나 공공기관, 시스템통합 등의 영역을 맡아줄 파트너들도 모집하고 있다”고 덧붙였다.
일레븐랩스의 한국 시장 내 활동은 만 1년이다. 시작 단계에서 성숙 시장으로 올라서기 위한 노력이 이뤄지고 있다.
홍 총괄은 “비즈니스 규모를 확보하는 걸 최우선순위로 두고 있고, 한국어 품질이 다른 모델과 비교해 압도적으로 좋은 현재의 우위를 지속적으로 유지하기 위해 본사와 소통하고 있다”며 “파트너십 강화를 통해 본격적으로 들어가지 못했던 엔터프라이즈 에이전트 시장도 개척할 것”이라고 밝혔다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
