‘루미에르’ 공개한 구글…비디오 생성AI의 미래와 현재는?

영상 제작을 위한 생성 인공지능(AI) 솔루션이 진화하는 모습이다. 멀티모달을 기반으로 텍스트나 이미지를 활용해 다양한 스타일의 영상을 제작하는 비디오 생성AI가 등장했다.

구글은 최근 깃허브를 통해 비디오 생성AI ‘루미에르(LUMIERE)’를 공개했다. 기존에도 입력한 텍스트를 바탕으로 영상을 제작하는 솔루션이 있었지만, 루미에르는 더 많은 기능과 자연스러운 영상미를 제공한다는 게 구글의 설명이다.

루미에르는 ’시공간 U–넷(Space-Time U-Net)’ 아키텍처가 핵심이다. 구글에 따르면 기존 비디오 생성AI는 영상 시작과 끝의 프레임을 미리 만들어놓고 중간 부분을 끼워넣는 식으로 영상을 만든다. 하지만 시공간 U-넷 기술은 사전 훈련된 텍스트-이미지 모델을 활용, 비디오 속 사물의 위치와 움직임을 동시에 고려해 더 자연스러운 영상 제작이 가능하다.

이미지의 가려진 부분도 주변 이미지와 합성해 완전한 영상으로 만들어주는 ‘비디오 인페인팅 기능’ (사진=구글 루미에르 깃허브 캡처)
템플릿을 적용해 사물의 스타일을 바꿀 수 있는 스타일리제이션 기능. (사진=구글 루미에르 깃허브 캡처)

다양한 편집 기능은 루미에르의 가장 큰 장점이다. 텍스트 프롬프트를 비디오로 변환하는 것은 물론이고 이미지의 가려진 부분까지 비디오로 구현해내거나 특정 영역에 애니메이션 효과도 넣을 수 있다.

앞서 구글은 2022년 이마젠 비디오(Imagen Video)를 출시했었지만. 텍스트 프롬프트 입력만 지원하고, 1280×768의 고정해상도에 초당 24프레임, 5.3초의 영상 시간 등 다양한 고품질 이미지 생성에는 한계가 있다는 평가를 받았다.

루미에르는 이를 개선해 ▲텍스트 to 비디오▲이미지 to 비디오 ▲영상에 특정 템플릿을 적용하는 ‘비디오 스타일 설정’ ▲이미지의 특정 영역만 움직이게 만드는 ‘시네마 그래프 ’ ▲이미지의 가려진 부분까지 영상화하는‘인페인팅’ 등 다양한 기능을 제공한다.

특정 영역을 지정해주면 해당 부분만 영상으로 만드는 시네마그래프 기능도 있다. (사진=구글 루미에르 깃허브 캡처)

구글 루미에르의 출시 시기는 아직 미정이다. 현재는 결과물 예시와 개념 논문이 깃허브에 공개된 상태다. 테스트 페이지도 아직 구현되지 않았다. 실제 출시된 모델의 기능이 100% 구현되지 못할 가능성도 있다.

다른 솔루션은 어떨까?

다른 기업의 비디오 생성AI도 편리한 사용성으로 유저를 끌어모으고 있다. 현재 출시된 비디오 생성AI 중 가장 쉽게 사용자들이 쓸 수 있는 건 미국의 스타트업 런웨이(Runway)가 출시한 젠(Gen2)다. 런웨이는 15억달러(한화 약 2조원)의 기업가치를 인정 받은 유니콘 기업이다.

사용자들은 런웨이 홈페이지에 로그인만 하면 제공되는 무료 크레딧을 통해 영상을 만들 수 있다. 특히 SNS 업로드용 짧은 영상 정도는 쉽게 제작이 가능하다.

사용법도 간단하다. 젠2의 웹페이지에 이미지를 업로드하거나 프롬프트를 함께 넣으면 자동으로 영상을 만들어준다. 여행 사진을 영상으로 만들어 그때 기분을 되살리거나, 고인이 된 가족의 사진을 움직이는 영상으로 볼 수도 있다.


협탁에 올라간 고양이 사진을 넣고 ‘a cat playing alone’을 프롬프트로 넣은 결과물이다. 움직임이 생기고 그림자도 따라 움직인다. 단 아주 간단한 작업임에도 변환 시간이 오래 걸렸는데, 위 프로젝트는 이미지→영상 변환까지 30초 이상이 소요됐다.

또한 무료 계정은 만들 수 있는 비디오 프로젝트가 3개로 제한돼 있어 더 많은 영상 제작 분량을 원하는 사용자는 월 15달러에서 최대 95달러의 유료 상품을 이용해야 한다. “움직이게 만드는” 정도 이상의 영상을 제작하려면 설정창에 들어가 카메라 모션 기능을 활용하는 것이 좋다. 줌이나 카메라 각도 전환 정도를 설정할 수 있고, 비디오 내 사물 움직임의 강도도 높이거나 낮출 수 있다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network

AI 트랜스포메이션을 위한 리테일 테크는 무엇일까

– 리테일 & 로지스 테크 컨퍼런스 2024

리테일 산업은 이제 디지털 산업입니다. 온라인뿐 아니라 오프라인 기업도 디지털 기술을 활용하지 않고서는 생존할 수 없습니다. AI 기술의 발달은 리테일 업계에 새로운 기회와 도전과제를 안겨주었습니다.

생성형 AI, 이커머스 쏠림, D2C 확장, 오프라인 매장의 폐점, 경기 침체, 늘어만 가는 배송 수요 등의 많은 변화 속에서 리테일과 물류, 커머스 업계는 디지털 없이는 변화에 대처할 수 없음을 알고 있습니다.

이에 바이라인네트워크는 리테일&로지스 테크 컨퍼런스 2024를 개최합니다. 리테일과 물류 기업이 어떻게 AI와 디지털 기술을 활용하고 있는지, 디지털 혁신을 위해 필요한 기술과 활용사례는 무엇인지 살펴보는 자리가 될 것입니다.

  • 일시: 2024년 3월 7일(목) 9:00 ~ 18:00
  • 장소: 서울 강남구 테헤란로7길 22 ST Center (과학기술컨벤션센터) 지하 1층 대회의실

관련 글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다