‘루미에르’ 공개한 구글…비디오 생성AI의 미래와 현재는?

영상 제작을 위한 생성 인공지능(AI) 솔루션이 진화하는 모습이다. 멀티모달을 기반으로 텍스트나 이미지를 활용해 다양한 스타일의 영상을 제작하는 비디오 생성AI가 등장했다.

구글은 최근 깃허브를 통해 비디오 생성AI ‘루미에르(LUMIERE)’를 공개했다. 기존에도 입력한 텍스트를 바탕으로 영상을 제작하는 솔루션이 있었지만, 루미에르는 더 많은 기능과 자연스러운 영상미를 제공한다는 게 구글의 설명이다.

루미에르는 ’시공간 U–넷(Space-Time U-Net)’ 아키텍처가 핵심이다. 구글에 따르면 기존 비디오 생성AI는 영상 시작과 끝의 프레임을 미리 만들어놓고 중간 부분을 끼워넣는 식으로 영상을 만든다. 하지만 시공간 U-넷 기술은 사전 훈련된 텍스트-이미지 모델을 활용, 비디오 속 사물의 위치와 움직임을 동시에 고려해 더 자연스러운 영상 제작이 가능하다.

다양한 편집 기능은 루미에르의 가장 큰 장점이다. 텍스트 프롬프트를 비디오로 변환하는 것은 물론이고 이미지의 가려진 부분까지 비디오로 구현해내거나 특정 영역에 애니메이션 효과도 넣을 수 있다.

앞서 구글은 2022년 이마젠 비디오(Imagen Video)를 출시했었지만. 텍스트 프롬프트 입력만 지원하고, 1280×768의 고정해상도에 초당 24프레임, 5.3초의 영상 시간 등 다양한 고품질 이미지 생성에는 한계가 있다는 평가를 받았다.

루미에르는 이를 개선해 ▲텍스트 to 비디오▲이미지 to 비디오 ▲영상에 특정 템플릿을 적용하는 ‘비디오 스타일 설정’ ▲이미지의 특정 영역만 움직이게 만드는 ‘시네마 그래프 ’ ▲이미지의 가려진 부분까지 영상화하는‘인페인팅’ 등 다양한 기능을 제공한다.

구글 루미에르의 출시 시기는 아직 미정이다. 현재는 결과물 예시와 개념 논문이 깃허브에 공개된 상태다. 테스트 페이지도 아직 구현되지 않았다. 실제 출시된 모델의 기능이 100% 구현되지 못할 가능성도 있다.

다른 솔루션은 어떨까?

다른 기업의 비디오 생성AI도 편리한 사용성으로 유저를 끌어모으고 있다. 현재 출시된 비디오 생성AI 중 가장 쉽게 사용자들이 쓸 수 있는 건 미국의 스타트업 런웨이(Runway)가 출시한 젠(Gen2)다. 런웨이는 15억달러(한화 약 2조원)의 기업가치를 인정 받은 유니콘 기업이다.

사용자들은 런웨이 홈페이지에 로그인만 하면 제공되는 무료 크레딧을 통해 영상을 만들 수 있다. 특히 SNS 업로드용 짧은 영상 정도는 쉽게 제작이 가능하다.

사용법도 간단하다. 젠2의 웹페이지에 이미지를 업로드하거나 프롬프트를 함께 넣으면 자동으로 영상을 만들어준다. 여행 사진을 영상으로 만들어 그때 기분을 되살리거나, 고인이 된 가족의 사진을 움직이는 영상으로 볼 수도 있다.

협탁에 올라간 고양이 사진을 넣고 ‘a cat playing alone’을 프롬프트로 넣은 결과물이다. 움직임이 생기고 그림자도 따라 움직인다. 단 아주 간단한 작업임에도 변환 시간이 오래 걸렸는데, 위 프로젝트는 이미지→영상 변환까지 30초 이상이 소요됐다.

또한 무료 계정은 만들 수 있는 비디오 프로젝트가 3개로 제한돼 있어 더 많은 영상 제작 분량을 원하는 사용자는 월 15달러에서 최대 95달러의 유료 상품을 이용해야 한다. “움직이게 만드는” 정도 이상의 영상을 제작하려면 설정창에 들어가 카메라 모션 기능을 활용하는 것이 좋다. 줌이나 카메라 각도 전환 정도를 설정할 수 있고, 비디오 내 사물 움직임의 강도도 높이거나 낮출 수 있다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network