[바스리] 웹툰 AI 에이전트가 무엇인지, 실력으로 보여주겠다

바이라인네트워크에서 스타트업을 리뷰합니다. 줄여서 ‘바스리’. 투자시장이 얼어붙어도 뛰어난 기술력과 반짝이는 아이디어, 새로운 비즈니스 모델을 가진 스타트업은 계속해 탄생하고 있습니다. 세상을 깜짝 놀라게 하겠다고 출사표를 던진 이들을 바이라인의 기자들이 만나봤습니다.

“그리는 데는 일주일 꼬박, 읽는 데는 3분 컷”

일주일을 꼬박 거의 하루도 안 쉬고 웹툰을 그려내면, 가장 많이 달리는 댓글은 “얼른 다음화를 내놓아라”다. 작가는 일주일에 한 편을 마감하느라 엄청나게 많은 시간을 들여 고생하지만 독자는 대략 3분 안팎으로 한 회의 작품 감상을 끝내버린다.

웹툰 제작은 고된 작업이다. 온 종일 화실에서 작품만 하느라 허리고 팔이고 여기저기 고장이 났다는 이야기를 안 하는 작가를 보기 어려울 정도다. 웹툰 업계에서는 작가의 노동량을 줄이고 생산은 늘린다는 관점에서 AI에 관심을 보이고 있지마는, 문제는 ‘진짜 쓸만한 솔루션이 있느냐’다. 물론, AI가 작가의 저작권이나 생존권을 침해하진 않겠느냐는 우려도 있다.

만약, AI가 작가 개개인에 귀속된다면? 작가는 자기 화풍을 배운 AI를 보조작가처럼 계약할 수 있다. 솔루션을 쓰는 데 돈은 더 들겠지만, 작품을 만드는 데 드는 시간과 노동은 줄일 수 있다. 반복 노동 대신에 더 매력적인 스토리와 캐릭터, 화풍을 만들어내는 데 집중할 수도 있겠다. 가르칠수록 실력이 올라오도록 학습하는 능력을 갖췄다면 금상첨화고.

스타트업 ‘라이언로켓’이 그 지점을 노렸다. 최근 발표한 ‘젠버스 알파’는 작가 개인의 화풍을 학습해 웹툰 창작을 지원하는 AI 웹툰 에이전트 서비스다. 라이언로켓 측은 젠버스 알파가 “100만 개 이상의 포즈 라이브러리를 제공하고, 사용자가 선택한 포즈와 캐릭터를 즉각적으로 결합해 선화를 생성하는 것이 특징”이라고 설명한다. 창작자가 반복적인 작업에서 벗어나 캐릭터 설정과 스토리텔링에 더 집중할 수 있도록 돕는 것에 목적을 뒀다는 것이다.

말 그대로 웹툰 작가의 보조 역할이다. 지난해 연말 아마존웹서비스(AWS)가 미국에서 개최한 개발자 컨퍼런스에서 주목할 스타트업으로 라이언로켓을 언급하기도 했어서, 더더욱 관심이 갔다. 그래서 만났다. 서울 중구에 위치한 라이언로켓 사무실에서 마주한 정승환 대표는 “이미지 생성 AI 모델로 세계에서 한 방 보여줄 회사가 국내에서도 나올 때가 됐다”고 말했다. 그 대단한 자신감의 근거를 물었다.

웹툰에 AI? 넘어야 할 허들

인터뷰를 하러 오기 전에, AI 기술에 관심이 있어하는 웹툰 제작사 대표와 통화했다. 그분이 하는 말이 “AI 기술은 쓰고 싶지만, 웹소설을 웹툰화하는 노블코믹스에 접목하긴 어려울 것 같다”였다. 소설을 웹툰화 할 때 실력 좋은 그림 작가가 함께 하길 원하지, AI에는 거부감이 있더라는 이야기다. 어떻게 설득할 수 있을까?

인식의 문제라고 본다. AI에 대한 거부감이 아직도 남아 있는데, 이걸 바꿔나가는 게 우리가 해야할 일이다. 한 번에 되는 것은 아니라, 조금씩 바꿔나가는 게 중요하다.

AI에 대한 거부감에는 어떤 것이 있다고 보나

AI로 만들면 품질이 낮아져서 결국은 작품이 망가지지 않겠느냐는 것이다. 프로(작가)가 보기에는 ‘품질이 낮다’ ‘투시가 이상하다’ 싶은 것이 많았다. 그런데, 지난해 우리가 웹소설을 원작으로 하는 노블코믹스를 만들었다. 그 작품이 한 웹툰 플랫폼에서 (인기 순위) 5위까지 올라갔다. 이런 사례를 더 만들려고 준비 중이고, 그렇게 되면 AI에 대한 거부감과 관련한 고민 중 하나는 사라지게 되는 거다.

AI 작가에 대한 거부감을 없애려면 성공 사례를 알려야 할 텐데, 반대로 거부감 때문에 성공 사례를 알리지 못하는 게 아이러니하다

우리는 공개하고 싶어 하지만, 제작사는 아직 공개하지 말자고 한다. 하지만 이미 고객군(웹툰 제작사, 작가)에서는 웹툰 작품에 AI 기술이 쓰이는 것에 대해 알음알음 알려지고 있다. 그래서 크게 걱정하진 않는다.

이왕 거부감 질문이 먼저 나왔으니, 다른 쪽의 거부감 이야길 해보자. 처음 AI가 그림을 그리는 모델이 나왔을 땐 일반인들도 많이 신기해 했다. 그런데 나중에는 거부감을 느끼더라. AI로 그린것은 (예술성이 없는) 양산형 아니냐는 느낌도 있고

그게 퀄리티의 문제다. AI로 양산 가능하고, 돈을 지불하고서라도 볼 수 있는 레벨까지 가는 게 중요하다. 지금까지 그걸 위한 기술을 만들어 온 거고.

어느 시점이 되면 허들을 넘었다고 생각 할 수 있을까

시장에서 웹툰이 될 수 있는 선의 하한점을 70점이라고 본다면 지금 우리가 선보이는 솔루션의 점수는 75점은 된다고 본다. 이제 기술과 시장이 만들어지고 있는 타이밍이고, 엄청나게 좋은 작화의 수준인 90점까지 올라가야 한다. 그런 (고품질의) 웹툰을 만들 수 있는 기술의 시작점에 이제 딱 한 발 걸친 느낌이 든다.

그 기술이 최근 발표한 젠버스 알파인가? 젠버스 알파의 실력은 어느 정도인가?

보조 작가에 가깝다. 결국은 작가가 웹툰을 그리더라도 혼자서는 다 할 수 없는 것이 현실이다. 일반적으로 보조 작가를 뽑게 되는데 (원하는 실력의 보조 작가를) 구하기도 어렵고, 화풍을 따라가는 것도 힘들다. 그래서 작가를 도울 수 있는 코파일럿(조수)과 같은 느낌으로 젠버스 알파가 출시되는 거다.

우리가 샘플로 쓰는 자료가 있는데, 실제 애니메이션에서 추출한 그림과, 이 그림을 학습해 AI가 만든 그림을 비교하면 사람들이 잘 구분 하지 못한다. 여기까지 도달하는 것이 매우 어렵다. 생소한 각도의 그림 같은 경우는, 작가들도 잘 못 그리는 경우가 많다. 10장 정도 소량의 그림을 학습하면, 정말로 엄청나게 많은 앵글의 연출이 가능하게 그려낸다.

예를 들어, 캐릭터가 옆으로 도는 그림을 연출한다고 하더라도 각도가 모두 다르고 서있거나 앉거나 등등의 동작이 모두 다르다. 이런 걸 계산해보면 (나올 수 있는 연출의 경우의 수가) 2억가지다. 그걸 어느정도는 커버를 해야 웹툰을 만들어낼 수 있다. 그게 지금까지 불가능했는데, 현재 우리가 파악하기로는 (경우의 수를) 거의 80%는 커버하고 있다. 그래서 웹툰의 선화 작업을 할 수 있는 AI 솔루션을 만들 수 있게 된 거다.

왜 작가 개인에 특화한 AI가 필요한가

젠버스 알파는 어떻게 학습해 동작하나

AI가 특정 작가의 그림을 학습, 작품을 그려낸다. 우리 AI 자체가 어떤 작가분의 그림을 완전히 특화시켜서 돕는 방향으로 설계했다. 서비스 자체가 (특정 작가의 그림을) 반드시 학습해야 한다. 그래야 우리가 원하는 수준까지 기술이 도달할 수 있다. 반대로, (아무나 쓸 수 있는) 양산형으로 기술을 만들었다면, 굳이 난이도가 높지 않아도 된다.

시중에 돌아다니는 모든 그림을 학습해서 그렸을 때는 캐릭터 일관성이 없다거나 하는 문제가 있을 수 있다는 건가?

일관성이 거의 없다. 시리즈 1편부터 100편까지 지속 나오는 캐릭터, 연속되는 동작의 캐릭터를 만들어내기 어렵다.

저작권 문제도 있을 수 있다

그래서 작가 개인을 위한 AI가 필요하기도 하다.

몇년 전만 하더라도 선화(스케치를 기반으로 깨끗하고 정리된 선을 따는 단계. 입체감과 캐릭터의 세부 표현이 들어감) 작업에 AI 도입은 불가능 할 거라고 이야기들 했는데

웹툰 제작에 여러 단계가 있다. 콘티랑 스케치, 선화, 채색, 명암 등이 있는데 이중 가장 (작업량이 많고 까다로워) 어려운 단계는 스케치랑 선화다. 비용과 시간이 제일 많이 들어간다. 그래서 이 영역에 도전했는데, 정말 어렵긴 어렵더라. 이미 공개되어 있는 모델을 튜닝해서 사용하면 (지금과 같은 수준은) 아예 안 됐을 것 같다.

왜 그런가?

이미지 분야 생성AI 모델들은 웹툰을 타깃으로 한 것이 아니라 일반적인 이미지를 잘 만들기 위한 대형 모델들이다. 이 모델들에 포함이 안 되어 있는 것은 ‘만화적인 포인트’다. 그래서 선화 작업은 AI로 할 수 없다고들 이야기 했고. 그런데, 반대로 우리는 내부에 만화를 만드는 팀이 있다. 자체 이미지 생성 모델을 만들어서 아예 만화에 특화한 그림으로만 학습을 시켰다. 이게 우리가 가진 차별성 중에 제일 큰부분이다.

만화적인 포인트라는 것의 예를 들어달라

웹툰을 좋아하다 보니 연출이 보이더라. (웹툰에 특화한) 앵글 표현 같은 것이 중요한데, 그런 것을 가르치기 시작한 거다. 기존 모델로는 어려운 작업이다. 왜냐하면, 그런 의도를 가르친 적이 없기 때문이다.

원하는 스토리에 맞게 선화 작업이 되도록, 명령은 어떻게 이뤄지나

일단, 이 그림을 봐달라.

작가가 젠버스 알파에 콘티를 업로드한다. 그 다음에, 해당 콘티에 맞게 캐릭터가 어떤 부위로 어떻게 동작하는지 선택해 클릭만 하면 된다. 등장 부위, 기울기, 카메라 앵글 등을 여러 연출 중에서 가장 비슷한 걸 고르면 그 위에 (AI가 미리 학습한 작가의 화풍에 맞춰( 선화를 입힌다. 미세 조정이 가능한 상태라, 작가의 의도를 100% 반영할 수 있게 하도록 진화하고 있다. 결국에 우리가 지향하는 AI 에이전트는 클릭도 하지 않고 이 작업을 마무리 할 수 있게 하는 거다. 그러면 진짜 AI 에이전트가 되는 거다.

사람의 선택을 다 없앤다는 이야기다. 콘티만 집어 넣으면 알아서 나오도록

그래서 이미지 쪽에서 AI 에이전트라고 한다면, 우리가 제일 적합하다.

작가 입장에서 작업이 쉬워지면서도, 어떤 면에서는 현타가 올 수도 있을 것 같은데

실제로 웹툰 시장에 들어온 그림 작가들의 이야길 들어보면, 우리 내부에도 작가들이 있는데 (업무량이 많아) 힘들어 한다. 보조작가가 화풍을 맞추는 실력을 갖추기도 어려운 데다, 노동량도 엄청나게 들고. AI를 활용하면 품질을 맞출 수 있고, 작품을 만드는 데 드는 시간도 크게 줄어드니까 경제 효과는 크다.

그리고, AI의 장점은 학습이 계속 가능하다는 거다. AI가 지금 그림을 좀 못 그리는 것 같다고 느끼면 가르치면 된다. 예를 들어서 뒤로 넘어지는 자세를 잘 못 취할 때, 마치 자기 후임 가르치듯이 “이건 이렇게 그리면 돼”라고 하면, 배워서 또 그리기 시작한다. 완전히 자기만을 위한 AI인 거다.

비용 문제는 어떤가? 웹툰 제작사 입장에서는 작가의 고료 외에 또 솔루션을 써야 하니 부담이 더 되는 것은 아닌가?

비용 구조는 우리가 해결할 수 있는 문제는 아니지만, 오히려 도움이 될 수 있다. 우리가 하는 일은 작가가 시간 당 그리는 이미지의 갯수를 극대화시키는 것이다. 생산성을 올리는 것이기 때문에, 그 개념으로 비용이 훨씬 줄어들 수 있다. 예를 들어, 제작사에서 작가를 월급제로 고용해 웹툰을 만들 경우 한 달에 주 4회 연재분을 그렸다면 젠버스 알파를 쓰면 8화나 12화를 그릴 수 있다. 무조건 비용이 줄어드는 경우다.

AI가 생산성 극대화나 작가들의 과도한 노동 문제를 해결할 수 있다는 말인데

그렇다. 둘 중 어느 쪽으로도 도움이 될 수 있다.

자체 웹툰 AI를 만든 이유

창업 전에는 무슨 일을 했나?

창업을 할 때는 학생이었다. 대학 3학년 때, 지금도 같이 일하는 공동창업자 두 명과 총 셋이서 일을 시작했다. 그때도 아이템이 생성 AI였다. 성우 목소리를 학습해 음성 AI를 만들어 시각 장애인을 위한 오디오북을 만들자는 것이 우리의 첫 시도였다. 이 기술이 쌓여서 지금의 웹툰 AI도 개발이 가능했다. 지난 7년 간 생성AI에 대한 노하우나 실력을 쌓았기 때문이다.

안에 들어 있는 콘텐츠만 달라졌지, 생성해내는 것은 같으니까

텍스트 생성에는 많은 기업이 도전하고 있지만, 국내에서 음성이나 비디오, 사진 이미지와 같은 분야를 하는 이들은 생각보다 많지 않다. 그래서 (음성이나 이미지) 분야에서 우리가 좀 잘 할 수 있을 거라고 봤다.

자체 AI 모델을 만들어서 개인 작가의 그림 10개 정도를 넣어 학습한다. 이런 모델을 만들기 위해 어떤 노력을 했나?

기밀이다. 하지만, 일단 공개된 방법을 다 테스트 해봤는데 “안 되더라”는 이야기는 할 수 있다.

공개된 방법엔 뭐가 있나?

제일 유명한 것으로 ‘로라(LoRA)’가 있다. 대략 50장 정도의 이미지를 가지고 학습하면 캐릭터의 화풍을 유사하게 가져갈 수 있다고 하는 프로그램으로, 이미 작가분들이 많이 쓰고 있다. 그런데 한계가 있다고 봤고, 그래서 우리만의 학습 방식을 개발했다.

내재된 역량이 그림과 음성을 만들어낼 수 있는 거다. 다음 단계는 애니메이션인가?

그렇다. 비디오 생성 모델을 할 준비는 이미 하고 있고, 그걸 아마존웹서비스(AWS)와 같이 하려 한다(라이언로켓은 지난해 AWS의 스타트업 육성 프로그램에 선발, 지원을 받았다). 우리가 해결할 문제가 결론적으로, 서로 다른 이미지 프레임을 읽어내고 그 안에서 캐릭터가 일관성 있게 동작을 하도록 유지하는 것이지 않나. 그런데 결국 비디오는 이미지의 연속이다. 24프레임은 1초에 24장의 이미지가 연속 재생되는 거니까. 우리가 만든 이미지 기술이 적용 안 될 이유가없다. 비디오 모델은 그래서 아마 올해 중 초기 모델이 나올 것으로 기대하고 있다.

만화를 좋아하나? 언제부터 좋아했나?

그냥 쉴때 항상 본다. 넷플릭스로도 애니메이션을 보고. 확실히 스토리의 힘이 강하다고 느낀다. 어떤 웹툰은 가끔 내 사상에도 영향을 준다. 좋은 스토리는 한 사람의 인생에 영향을 줄 수 있다. 되게 멋있다고 생각한다. 그런데 우리 기술로 이런 스토리들이 더 빨리 나올 수 있다면? 되게 보람찬 일이고 가치가 크다.

지금 가장 고민하는 게 있다면

글로벌화다. 어떻게 하면 글로벌 전체로 젠버스를 심을 수 있을까가 제일 고민이다.

네이버 같은 경우 국내외에서 아마추어 작가를 선발하는데, 그런 곳에서 더 빨리 쓸 수 있지 않나?

그런 플랫폼들이 되게 많다. 특히 일본은 지금 계속 생기고 있다. 결국 (플랫폼 입장에서) 중요한 것은 작품 수급이다. 이걸 다들 어려워 하고. 수급에서 중요한 것은 시간이니까, 작품 생산의 시간을 줄이는 툴로서 기술에 대한 필요성은 다들 공감하고 있다. 언제 할 거냐, 누가 할 거냐, 기술을 누가 빨리 수준급으로 도달하느냐는 면에서 우리가 경쟁력이 있다고 본다.

우선하는 시장은 일본인가?

일본을 굉장히 매력적으로 보고 있다. 일본이 원래 만화 시장이 크고, 웹툰으로도 가려 한다. 체감도 하고 있다. 문의 들어오는 기업들의 이름이나, (현지) 시장에 가서 듣는 정보도 그렇고 끓어오르는 분위기가 느껴진다. 또, 한국과 일본 두 국가에서 각자 1위한 작품을 살펴보면 매출의 크기도 엄청나게 크다. 확실히 일본이 매력적인 시장이다.

엑시트의 방법으로는 매각을 생각하나

그렇게 생각하기에는 (라이언로켓이) 가진 기술로 할 수 있는 일이 너무 많다. 애니메이션 까지만 가도 시장이 아주 크지 않나.

게다가 보고 싶은 것이 있다. 국내에서도 이미지 분야에서 글로벌로 한 방 칠 수 있는, 그런 기업이 나왔으면 좋겠고, 그게 라이언로켓이었으면 좋겠다. 언어 같은 경우는 웹의 태반이 영어 콘텐츠이므로 어려운 부분이 있는데, 이미지는 그렇지 않다. 오히려 한국이 웹툰에 특화되어 있기도 하므로 공평한 (경쟁) 환경이라고 생각한다. 승부를 볼 수 있지 않겠나

앞으로의 계획을 말해달라

이미지 분야에서도 ‘쓸 만한’ 것이 나올 때가 됐다. 세콰이어캐피탈에서 발표한 리포트를 보면, 2023년에 거대언어모델(LLM)로부터 시작되는, 쓸 만한 것이 나올 거라고 했다. 이미지 비디오 분야에서는 그 시점을 2025년이라고 봤다. 그게 정확하게 올해다. 타이밍이 맞아들어가고 있고, 그 될 만한 서비스를 만드는 곳이 반드시 우리가 되도록 하려고 한다.

그리고, 작가들이 창작 과정에서 고되고 힘든 것이 아니라 여유와 영감을 누리는 것이 가장 중요하다고 본다. 그게 우리가 지향하는 AI 기술이다. 그래야 더 좋은 작품이 나오지 않겠나.

마지막으로, 회사의 이름이 왜 ‘라이언 로켓’인가?

고등학생 때 이미 지어놓은 이름이다. 사업할 때 이 이름을 쓰겠다고. 오래된 꿈이다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network