[신기술] 포바이포 “라이브 스트리밍, 실시간 화질 개선”

영상 화질 개선 회사 ‘포바이포’가 새 기술을 공개, 시연했다. 라이브 영상을 실시간 화질 개선하는 AI 솔루션이다.  이름은 ‘AI 픽셀 스트리밍’. 기술의 알맹이가 무엇인지 그리고 어떤 시장을 공략하는지 11일 서울 여의도에서 열린 포바이포 기자 간담회의 주요 내용을 아래 정리해봤다.

비 생성형 AI 기반, AI 픽셀 스트리밍은?

앞서 언급한 것처럼, 라이브 스트리밍 영상을 실시간 화질 개선하고 송출 처리하는 솔루션이다. 영상의 연속성과 실시간성이 중요한 스포츠 중계, 공연 중계, 게임 중계 등 다양한 곳에 활용될 것으로 포바이포 측은 기대한다. 실시간 중계하는 콘텐츠의 특성 상 끊김이 없어야 하기 때문에 높은 화질 구현에 많은 제약이 따랐는데, 이 문제를 해결하는 것을 목표로 태어났다. 내년 중 본격 판매될 예정이다.

윤준호 포바이포 대표는 “AI 픽셀 스트림은 업계의 오랜 숙원이었던 ‘실시간 처리’ 문제를 해결했으며, 이는 화질 개선 시장의 패러다임을 바꾸는 전환점이 될 것”이라고 말했다.

AI 픽셀 스트리밍의 가장 큰 특징은 ‘비생성형 AI 기반’이라는 점이다. 요즘 모두가 ‘생성형 AI’를 말하는데, ‘없는 정보가 생겨나서도, 있는 정보가 사라져서도 안 되는 분야’에서는 생성형 AI로 만진 영상을 쓰기 어렵다.

예컨대 의료나 법, 뉴스 등의 영역에서 들어가면 안 될 것이 들어가거나, 빠지면 안 될 부분이 빠진다면 어떤 결과가 일어날까. 미국 워싱턴 주 고등법원이 생성형 AI 기반 모델로 업스케일링한 스마트폰 촬영 영상을 증거로 채택할 수 없다고 판시한 것도 이런 우려에 기인한다.

포바이포 측은 크리에이터 전용 제품으로 AI 픽셀 디테일러도 내년 1분기에 선보인다. 기존 픽셀 솔루션 기능 중에서 크리에이터에 필요할 주요 기능만 포함했다. 노이즈 제거, 윤곽선과 질감 개선 등 전문 기술 없이 콘텐츠의 품질을 향상시킬 수 있도록 고안했다. 게임 인플루언서가 모여 있는 자회사 롤큐의 크리에이터를 대상으로 필드 테스트를 진행 중인데, 윤 대표는 “반응이 아주 좋다”고 말했다. 월 정액 SaaS 모델로 출시될 예정이다.

무엇이 기존 코딩 솔루션과 다를까? 시연 현장

시연은 배성완 포바이포 본부장이 맡았다. 배 본부장은 기존의 실시간 코딩 솔루션 대비 AI 픽셀 스트리밍이 갖는 기술적 차이를 ▲연속된 프레임의 맥락을 이해하는 것 ▲두 번 생각하는 AI 시스템이라 꼽았다.

영상은 1초 당 평균 30장의 정지된 화면(프레임)이 움직이면서 만들어진다. 영상의 화질을 높인다는 것은 결국, 이 정지된 이미지 30장의 품질을 올려 가능해지는 것이다. 그래서 지금까지 대부분의 이미지 스케일링 솔루션의 상당수는 단순한 정지 이미지 처리에 특화되어 있었다. 피사체와 배경이 고정된 상태에서 노이즈와 디테일, 선명도를 처리한 것이다.

배 본부장이 강조한 ‘연속된 프레임 맥락 이해’는, 피사체가 정지해 있어도 카메라 세팅과 조명 환경에 따라 각 프레임의 정보가 달라지는 것까지 영상 품질 개선에 들어가야 한다는 걸 말한다. 개별 이미지를 개선하는 데서 멈추면 잔상, 플리커(빛의 깜빡임) 현상이 생겨나므로, 전문 방송이나 현업에서는 이런 품질의 영상을 쓸 수 없다고 지적한다.

그는 “AI 픽셀을 현재 프레임을 개선하는 모듈+연속된 프레임간 차이를 계산하는 블록으로 구성했다”면서 “예를 들어 10번 프레임의 화질을 개선하기 위해 계산할 때 그 앞뒤의 7, 8, 9, 10, 11번 프레임을 멀티로 입력해 그 차이를 계산하고 이를 보완하는 방식으로 프레임의 노이즈를 제거, 디테일 복원을 자연스러운 움직임으로 처리한 것”이라고 설명했다.

두 번 생각하는 AI 시스템도 마찬가지다. 연속된 프레임들에서 피사체가 정지해 있어도 각 프레임마다 노이즈나 디테일의 정도가 다르다. 단순히 이미지로 계산해서 결과를 도출하면 영상용으로 다소 쓰기 어려운 결과물이 나온다. AI 픽셀은 열화 모드를 통해 각 프레임의 노이즈 상태와 디테일 상태를 점수화하고, 프레임마다 적절한 수준의 개선을 적용하는 방식을 채택했다.

시연을 위해서는 실제 방송 환경을 재현하기 위해 캠코더, DSLR, 액션캠 등이 현장에 마련됐으며, 카메라에서 로컬 PC로 저장한 후 CDN을 통해 스트리밍하는 일반적인 방송 환경과 동일하게 방송 시스템을 구현했다.

시연에서는 AI 픽셀로 인한 세 가지 주요 개선 포인트를 제시했다. 먼저, 인물 디테일이다. 위 모델 사진을 보면, 왼쪽은 1080p 해상도인데 업스케일링 된 오른쪽 화면에서 머릿결, 피부, 모공, 주름, 표정, 눈동자 등 세밀한 부분이 선명해졌다. 배경 질감 및 노이즈도 주요 개선점인데, 어두운 화면과 노이즈가 발생한 부분을 깨끗하게 처리했다. 마지막으로, 텍스트 및 그래픽은 글씨, 자막, 로고 등을 선명하고 뚜렷하게 표현하는 걸 말한다.

그렇다고, 의도적 아웃포커싱까지 또렷하게 재현하지는 않는다고도 설명했다. 배성우 본부장은 “우리 기술은 생성형 AI가 아닌 추론형(CNN, 합성곱 신경망) 기반으로, 기존 촬영 의도를 유지하면서 화질만 개선한다”면서 “포커싱이 의도적으로 아웃된 부분은 그대로 유지하면서 선명한 부분의 화질만 향상시킨다”라고 강조했다.

시장은 어디로 보나, 앞으로의 계획

가장 크게 바라보는 시장은 OTT다. 라이브 스트리밍이 필요한 FAST(Free Ad-Supported Streaming TV) 시장을 첫 번째 타깃으로 설정했다. 또, 네이버 치지직 등 스트리밍 플랫폼 사업자도 실시간 화질 개선 솔루션에 관심 있을 곳으로 보고 있다. 현재 적극 영업 중인 곳도 아프리카 TV, 트위치와 같은 스트리밍 플랫폼과 IPTV 시장 등이다. 특히 올해는 일본과 미국 시장에 집중하고 있다고도 언급했다.

흥미로운 것은, 이들이 주목하고 있는 시장 중 하나가 CCTV라는 점이다. CCTV 화질 개선을 통해 제조업 AI 시스템의 정확도를 향상시킬 수 있어서다. 드론 촬영에서도 높은 고도에서 촬영한 영상을 낮은 고도에서 촬영한 것과 같은 품질로 개선하는 업스케일링 기술도 적용하고 있다.

궁극적으로는, 화질을 떨어트리지 기능을 포기하지 않으면서 경량화해 디바이스에 얹힐 수 있는 상태까지 가는 걸 목표로 한다. 예컨대 현재의 삼성이나 LG와 같은 디바이스 제조사들은 영상 화질 개선을 경량화 해 반도체에 올려 디바이스에 장착하는데, 이렇게 경량화 하는 대신 업스케일링 기능은 다소 떨어지게 된다. 포바이포는 이와는 반대로, 화질 개선 기능을 강조하는 대신 앞으로 경량화라는 숙제가 남아 있다.

한편, 포바이포는 현재 AI 솔루션 사업을 새로운 성장동력으로 삼기 위해, 현재 유상증자를 진행하고 있기도 하다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network