일레븐랩스, 대화하는 AI ‘일레븐 리얼타임’ 공개

일레븐랩스는 음성 에이전트를 위한 새로운 음성 대 음성(STS) 모델 ‘일레븐 리얼타임(Eleven Realtime)’을 공개했다고 3일 발표했다.

‘일레븐 리얼타임’은 빠르고 자연스러운 대화에 최적화된 ‘일레븐 리얼타임 v1 미니’와 복잡한 작업에 최적화된 ‘일레븐 리얼타임 v1 맥스’의 두 가지 모델로 구성돼 있으며, 음성채팅 에이전트 플랫폼인 ‘일레븐 에이전트’와 ‘리얼타임API’를 통해 제공한다.

지금까지 자연스럽게 대화하는 음성 에이전트를 구축하려면 음성 인식, 발화 구간 감지, 대화 차례 전환(턴테이킹), 대규모 언어 모델(LLM), 음성 합성 등 각 구성 요소를 개별적으로 선택하고 조합해 조정해야만 했다.

‘일레븐 리얼타임’ 은 이러한 구성 요소를 하나의 시스템으로 조정한 음성 에이전트 모델이다. 사용자는 각 구성 요소를 개별적으로 설정할 필요 없이 모델을 선택하는 것만으로 음성 에이전트를 구축할 수 있다. 두 모델 모두 한국어와 일본어를 포함한 90개 이상의 언어를 지원하며, 일레븐랩스의 1만7000개 이상의 보이스 라이브러리에서 원하는 목소리를 선택할 수 있다.

‘일레븐 리얼타임 v1 미니’는 빠르고 자연스러운 대화에 최적화된 모델로, AI 어시스턴트, 교육용 튜터, 게임및 엔터테인먼트용 인터랙티브 캐릭터 등에 적합하다. ‘일레븐 리얼타임 v1 맥스’는 복잡한 작업에 최적화된 모델로, 정해진 절차에 따라 정보를 조회해야 하는 고객 지원, 잠재 고객을 선별하는 리드 퀄리피케이션, 도구를 호출해 정보를 조회하거나 작업을 수행하는 다단계 업무 등에 적합하다.

두 모델 모두 자연스러운 대화 차례 전환과 끼어들기에 대한 대응, 도구 호출을 지원한다. 사용자는 모델 선택만 바꾸면 v1 미니와 v1 맥스를 전환할 수 있다.

아티피셜 애널리시스의 평가에 따르면, ‘일레븐 리얼타임 v1 맥스’는 음성 기반 추론 능력을 측정하는 벤치마크 ‘ 빅 벤치 오디오’에서 98.8%의 정답률을 기록했다. 질문이 끝난 후 답변을 시작하기까지 걸린 시간은 0.57초였다. 아티피셜 애널리시스 리더보드에서 v1 맥스보다 응답 속도가 빠르면서 동시에 정확도도 높은 모델은 없다. 대화 중 침묵, 차례 전환, 끼어들기, 맞장구에 대한 대응을 측정하는 ‘ 풀 듀플렉스 벤치’에서는 v1 미니가 95.8%, v1 맥스가 94.1%를 기록했다.

‘일레븐에이전트’에서 이용하는 경우: 에이전트를 새로 만들거나 기존 에이전트를 연 뒤, 모델 선택 메뉴에서 ‘일레븐 리얼타임’을 선택하면 바로 이용할 수 있다. 전화, 웹사이트, 컨택센터 플랫폼 등 다양한 채널 배포는 물론, 워크플로우, 지식베이스, 가드레일, 테스트, 모니터링 등 ‘일레븐에이전트’의 기능을 그대로 활용할 수 있다. 기존 에이전트의 설정은 변경되지 않는다.

리얼타임 API는 오픈AI의 리얼타임 API와 호환되며, 웹소켓으로 연결된다. 이미 오픈AI의 리얼타임 API를 사용 중인 개발자는 기존 코드의 연결 대상과 모델 이름만 변경하면 ‘일레븐 리얼타임’을 사용해 볼 수 있다. 단, 출시 시점에는 웹RTC를 지원하지 않는다.

일레븐랩스 측은 “한국어를 포함한 90개 이상의 언어를 지원하는 일레븐 리얼타임을 통해 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해 나갈 계획”이라고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network