‘1초면 내가 웹툰 캐릭터로’ 눈 사이 거리까지 반영 [DEVIEW 2023]

웹툰미, 생성 모델 적용해 변환 품질 끌어올려
1080p 해상도 1분 영상은 7분 이내 변환
생성 모델에 텐서RT 적용해 경량화 이뤄
‘스테이블 디퓨전’ 본격 도입해 고품질 변환 준비

네이버가 28일 서울 코엑스에 마련한 개발자 컨퍼런스 ‘데뷰(DEVIEW) 2023’에서 웹툰미 프로젝트를 소개했다. 웹툰미(WebtoonMe)는 내 자신이 웹툰 주인공이 된다는 콘셉트의 AI 프로젝트다. 사진이나 영상 속 인물을 웹툰 캐릭터로 실시간 변환해준다.

이날 발표에 나선 김승권, 백지혜 네이버웹툰 연구원에 따르면 웹툰미는 연구원 3명의 1년 단기 프로젝트로 출발했다. 현업에 적용하게 되면서 AI 프로덕트로 발전했다. 프로젝트 중간에 스테이블 디퓨전 등 최신 AI 모델을 적용하면서 웹툰 변환 품질을 끌어올렸다.

백지혜 연구원은 “생성 모델 트렌드를 바로 적용했다”며 “최신 기술을 잘 받아들이되 그 안에서 웹툰 도메인에 최적화된 연구를 하도록 노력했다”고 말했다.

웹툰화 소요 시간은 1080p(풀HD) 해상도 사진은 1초 이내, 1080p 해상도의 1분 짜리 영상은 7분 이내면 완료한다. 부스 시연도 웹캠을 장착한 대형 모니터와 그래픽처리장치(GPU)가 달린 노트북으로 진행 중이다.

김승권 연구원은 “현업 니즈를 반영하기 위해선 추론 속도가 중요했다”며 “쇼핑라이브에 기술 지원했다. 큐사인이 떨어지기 전 30분 정도 시간이 주어지는데, 그 안에 저희가 영상을 수차례 변환해서 제공하는 시나리오였다”고 설명했다. 이어서 “흥미로웠던 것은 생성 모델에선 텐서RT 적용이 어렵다고 많이들 생각하시고 저희도 선뜻 시도를 못했는데, 결국은 굉장히 워킹을 잘하는 것을 확인했고 경량화를 이뤄냈다”고 개발 소회를 전했다.

김 연구원은 ‘화이트워싱’ 이슈도 언급했다. 웹툰 캐릭터에 하얀 피부가 많아, 피부톤 반영을 위한 필터 통과 시 흑인도 피부색이 하얗게 나온다는 것이다. 이 경우, 원본 이미지 피부색 영역에 있는 분포를 웹툰에 입히는 형태로 된 데이터셋을 새롭게 구성해 해결했다. 그는 “웹툰 캐릭터는 하얀 피부나 큰 눈이 있거나 특성이 있는데, 피부색을 반영하다보니 웹툰의 새로운 면을 창조하는 그런 작업도 하게 되면서 흥미로웠다”고 되짚었다.