네이버가 미디어 사업에 사용하는 AI 기술

아무것도 없는 무대 위, 우주를 배경으로 우주인이 움직인다. 서재에서 순식간에 우주선으로 이동한 후, 무대 앞 취재진에게 손도 흔든다. 네이버가 지난해 사옥 1784 내 마련, 올해 본격 운영을 시작한 버추얼 콘텐츠 특화 가상 스튜디오 비전스테이지와 모션스테이지의 모습이다.

네이버가 마련한 가상스튜디오는 시공간을 넘어 영상 콘텐츠 연출의 문턱을 한 층 낮춘다. 버추얼 크리에이터 뿐만 아니라 커머스 영역에서도 3D 캡처와 리얼타임 엔진으로 다양한 영상을 연출한다. 

네이버가 미디어 사업에서 본격 추진하는 사업은 이뿐만이 아니다. 지난해 온서비스(On Service) AI 전략을 선언한 네이버는 올해 자사 미디어 사업 내 AI를 대폭 강화한다. 

버추얼 관련 사업도 올해 안에 본격 궤도에 오를 전망이다. 앞서 본 지난해 마련한 비전스테이지와 모션 스테이지를 합한 XR스튜디오에 더해 하반기 내 VR 시장에도 신규 서비스 ‘안드로이드 XR’로 도전장을 낸다.

이머시브 미디어 기술 2025: 영상 최적화-맥락 이해-텍스트to영상 변환 

“더 잘 노출될 수 있도록, 더 잘 검색될 수 있도록, 더 잘 탐색될 수 있도록 한다는 게 미디어 AI의 2025년 가장 큰 목표입니다.”

네이버 이머시브 미디어 플랫폼 김성호 리더는 올해 네이버의 미디어 AI의 3대 핵심 기술로▲AI 인코딩 최적화 ▲MUAi ▲오토 클립 AI를 내놨다. 앞서 김 리더가 내세운 목표를 달성하기 위한 기반 기술이다. 

김 리더가 짚은 네이버 미디어 플랫폼의 변화는 최근 들어 점차 생산자와 소비자간 인터렉티브한 커뮤니케이션이 늘어나고 있다는 사실이다. 네이버의 미디어 사업은 초기 네이버TV로 시작해 현재 쇼핑 라이브, 치지직으로 가는 변화를 살펴보면, 영상 생산자와 소비자 간 활발한 소통이 점차 핵심이 되어가고 있다. 

변화하는 미디어 환경에 맞춰, 네이버가 현장에 도입한 첫 번째 기술은 AI 인코드다. 영상 품질은 유지하면서, 단위 시간당 전송률 부담을 최대 30%까지 낮출 수 있는 네이버만의 독자적인 기술이다. 

AI 인코드에 대해 김 리더는 “미디어 기술 관점에서 이용자가 고품질을 원하는 상황에서 전통적인 방식으로 풀기 어려운 문제를 AI를 통해 구간별 영상 압축 비율로 학습된 AI모델로 빠르게 판단해, 최적화된 인코딩 결과물을 만들어내는 기술”이라고 설명했다. 

네이버가 연내 확대하는 또 다른 무기는 AI로 영상의 맥락을 심층적으로 이해하는 기술 ‘MUAi(Media Understanding AI)’ 플랫폼이다. 기존 저작권 관리와 유해성 및 저품질 영상을 감지하는 기술을 한 층 고도화했다.

핵심은 이름처럼 “영상 내용을 상세하게 잘 이해하도록”하는 것이다. 김 리더는 “영상의 내용, 무드, 액티비티, 감정 변화 등 풍부한 맥락을 이해해 네이버 내 추천 고도화, 자동으로 영상 챕터를 구분해 이용자에게 빠르게 설명하는 오토 챕터와 같은 기능을 하반기에 도입할 것”이라고 말했다. 특히 오토챕터 기능은 쇼핑라이브 뿐만 아니라 최대 10~12시간까지도 진행되는 치지직 내 게임 방송 등에서도 유의미하게 이용될 것으로 전망된다. 

올해 안에 출시하는 ‘오토클립Ai(AutoClipAi)는는 멀티모달 LLM을 활용해 블로그 텍스트를 기반으로 네이버 내 숏폼 영상인 ‘클립’을 자동 생성하는 기술이다. 음성, 배경음악, 화면 효과 등 내용에 맞는 편집 기법을 자동 적용한다. 블로그 뿐만 아니라 쇼핑 리뷰, 플레이스 리뷰 등 네이버 내 다양한 이용자생성콘텐츠(UGC)를 기반으로 영상 제작을 돕겠다는 게 네이버의 계획이다. 

영화에서나 쓰는 기술 적용된 비전·모션 스테이지, 버추얼부터 커머스까지 발길 이끈다

네이버가 이날 강조한 또 다른 요소는 비전·모션 스테이지를 더한 버추얼 프로덕션 스튜디오다. 네이버가 프로덕션 기술을 준비하기 시작한 건 2020년까지 거슬러 올라간다. 이후 경량화된 버추얼 프로덕션 스튜디오 등을 운영하다가 올해 2월부터 해당 스튜디오를 가동하기 시작했다. 

비전스테이지는 다양한 주제에 맞춰 컴퓨터그래픽과 생성형 AI로 만들어진 가상 배경을 제공하는 스튜디오라면, 모션 스테이지는 고품질 3D 콘텐츠를 제작하고자 하는 치지직 스트리머들이 활용할 수 있도록 전문 기술력과 인력 등을 지원한다. 

비전·모션 스테이지 사용자에게 새로운 콘텐츠를 제공하기 위한 네이버의 베이스 캠프 역할을 한다. 김 리더는 “XR용 콘텐츠 생산 파이프라인, 그리고 돌비 애트모스 라이브 파이프라인을 연구개발로 확보하고 있어, 네이버 내 프리미엄 콘텐츠 생산 스튜디오를 넘어 사용자에게 새로운 VX를 제공하는 베이스 캠프 역할을 한다”고 말했다.

네이버가 내세운 건 영화 스타일을 디지털 영상 제작에 활용하는 시네마룩과 리얼타임이다. 오한기 네이버 리얼타임 엔진 스튜디오 리더는 “이 공간 내 모든 동작이나 연출 요소는 리얼 타임 엔진에 전송돼 콘텐츠에 반영된다”고 말했다. 기술력을 기반으로 라이브 방송이 가능하다는 설명이다. 네이버의 양방향 통신 기술과 라이브 스트리밍을 할 때 사용자의 반응을 실시간으로 3D 렌더링에 반영한다는 점이 타 유사 스튜디오와의 차별점이기도 하다.

또 다른 강점은 컴퓨터 그래픽 뿐만 아니라 생성형 AI를 활용해 다양한 배경을 제작하는 등 콘텐츠를 AI 파이프라인으로 제작한다는 사실이다. 실시간으로 3D 오브젝트를 캡처해 버추얼 프로덕션 환경 내 결합하는 식이다.

오 리더는 “비전 스테이지에서 많이 제작되는 콘텐츠 중 하나는 라이브 커머스 콘텐츠다”며, “기존 라이브 커머스 콘텐츠가 배너나 소품 등으로 무대 구성한다면, 이 곳에서는 가상 배경 안에서 콘텐츠를 제작한다”고 말했다.

해당 스튜디오를 이용한 이들은 커머스와 숏폼 외에도 버추얼, 드라마, 영화까지도 다양하다. 버추얼 스트리머의 퍼포먼스 영상이나 뮤직 비디오 등도 버추얼 프로덕션 스튜디오 내에서 촬영한다. 라이브 영상 내에서는 모션 스테이지 내 버추얼 스트리머의 동작이 실시간으로 전송돼 반영되기도 한다. 10명 이상 스트리머의 움직임도 잡아낼 수 있다.

스튜디오 내에서 제작한 영상은 PC 화면, 모바일 뿐만 아니라 안드로이드 XR 기반 네이버의 VR플랫폼에서도 입체 영상으로 볼 수 있다. 이 플랫폼은 올해 하반기 내 출시할 예정으로, K-POP 콘텐츠와 버추얼 아티스트, 치지직 내 게임 콘텐츠 등을 시청할 수 있다.

콘텐츠 제작자 단에서도 관심이 높다. 오 리더는 “처음 협업을 한다고 공지했을 때 지원 비율이 굉장히 적었지만, 첫 번째 콘텐츠를 4월 중순에 공개한 이후 협업하려는 스트리머의 숫자가 10배 이상 늘어났다”고 했다. 네이버에 따르면 현재 해당 스튜디오가 공실인 날은 없다.

앞으로는 아바타 동작과 콘텐츠 내 AI 기여도를 높이는 방향으로 기술을 개선할 계획이다. 현재 AI로 배경을 주로 제작한다면, 아바타 동작이나 노래 등에서도 AI가 어시스던트로 들어가 서비스 품질을 높이는 방안을 모색하고 있다.

비전·모션 스테이지는 네이버 내 영상 콘텐츠를 보다 풍부하게 하는 산실로 자리잡을 전망이다. 네이버는 네이버와 함께 활동하는 스트리머나 IP, 브랜드 등에게 이 스튜디오를 제공하고 있다. 오 리더는 “스튜디오를 통해 네이버 안 여러 콘텐츠가 생산될 수 있는 좋은 환경을 만들고 생산 콘텐츠가 치지직이나 숏폼 등으로 유입될 수 있는 마중물 역할을 하는 공간이다”고 강조했다.

라이브 스트리밍 앱 프리즘 라이브 스튜디오, AI 고도화 나선다 

라이브 스트리밍 앱 프리즘 라이브 스튜디오는 국내 뿐만 아니라 글로벌 시장 내에서도 어느 정도 자리잡은 모바일 라이브 서비스다. 지난 2019년 출시 이후 현재 일 평균 13만건의 라이브 방송이 이뤄지고 있으며, 해외 사용자는 90%에 이른다. 앱스토어 내 상위 앱에서도 과반에 가까운 다운로드 점유율을 기록한다.

프리즘이 차별점으로 내세운 송출 기술은 네트워크 대역폭을 실시간으로 감지해 그에 맞는 최적의 영상 품질을 성정하는 ABP 기술이다.

글로벌 시장 내에서도 안정적인 옵션을 설정할 수 있다. 네이버 송지철 프리즘 라이브 스튜디오 리더는 “전 세계 이용되는 프리즘 앱이 각 지역의 필드 데이터를 수집해 그 지역에서 최적화된 운영을 꾸준히 진행하고 있다”고 설명했다. 또 글로벌 네트워크 망 활용 뿐만 아니라 AWS 등 외부 네트워크 망과의 결합으로도 송출 품질을 높이고 있다.

라이브 유형에서도 전통적인 카메라 라이브에 더해 게임 라이브, 버추얼 라이브 등을 다각도로 지원한다. 특히 버추얼 아바타 라이브에 대해 3D 아바타 모델 중 하나인 VRM을 활용해 PC에서 쓰던 아바타를 모바일로도 그대로 활용할 수 있다는 점을 강점으로 꼽았다.

AI 활용 또한 점차 범위가 늘어나고 있다. 편집 영상 자막을 자동으로 생성하는 자동 자막 기능에 더해 이미 진행한 라이브 영상 음성에서 스크립트를 추출하는 기능 등이 출시돼 있다.

앞으로는 네이버의 MUAi 플랫폼 기능을 활용해 AI 챕터 기능을 도입할 예정이다. 송 네이버는 빠른 후편집 지원 혹은 진행 라이브 내 상세 정보를 추가하는 활용 등을 지원하고 있다.  AI 프로듀서 기능 등도 향후  도입할 예정이다.

아바타의 생동감을 위해 지금까지 안앉아 있는 아바타를 일으키거나, 아바타를 통해 복수의 스트리머가 합방을 하는 등 다양한 기능도 내년 중 도입할 계획이다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network