[인터뷰] “디자인 제작 툴, 솔직히 불편하지 않으셨나요?”

청첩장을 만든다고 가정해 보겠습니다. 아, 물론 제가 결혼한단 이야긴 아닙니다. 하여튼, 이미지 제작 사이트에 가입해야겠죠. 원하는 키워드를 집어넣어 적절한 포맷을 하나 골라봅니다. 그러고 나니 어쩐지 심심해 몇 가지 디자인 요소를 추가하고 싶단 생각이 들었습니다. 예컨대 귀여운 커플 캐릭터를 삽입한다든지 말입니다.

그래서, 이미지 제작 툴에서 ‘커플’을 검색합니다. 수천, 수만 가지 디자인이 나옵니다. ‘이렇게 많은 선택지라니’ 잠깐 좋았다가, 곧 한숨이 납니다. 지금 제작 중인 이미지와는 어울리지 않는 사람 캐릭터가 태반이니까요. 톤앤무드(전체적인 분위기와 느낌)에 맞는 캐릭터를 찾느라 검색 페이지를 수십 장 넘기다 보니 ‘아, 젠장. 쓸데없는 건 빼고 주지’라는 생각이 절로 듭니다.

검색 결과가 많다는 것은 다양한 선택권을 주지만, 그만큼 이용자의 시간도 잡아먹습니다. 가능하다면, 내가 진짜 고를만한 이미지만 추려서 보여주면 좋을 텐데요. 요즘엔 AI가 일을 엄청 잘한다고 하던데, 그 정도까진 똑똑하지 않은 걸까요? 이런 고민을 한 이들이 최근 ‘미리클넷'(미라클넷 아님 주의)이란 AI 엔진을 선보였습니다. 이미지 플랫폼 회사 ‘미리디’가 만들었는데, 디자인 맥락을 이해해 결과물을 내는 걸 목적으로 했습니다.

‘미리클넷’ 이란?
3000만건의 실제 사용 데이터를 학습, 콘텐츠의 목적과 분위기를 파악하는 디자인 전용 AI 엔진. 사용자가 필요로 하는 디자인을 톤앤무드나 스타일에 맞춰 검색 결과를 정확히 가져오고, 콘텐츠 목적에 맞는 이미지 프로덕트를 생산하는데 초점을 맞춤.

예컨대 <바이라인네트워크> 로고를 미리클넷에 넣고, 이 로고를 가진 사용자가 원할 것 같은 템플릿을 추천해달라고 프롬프트를 넣으면 이런 결과가 나옴. 로고의 색과, 폰트 이미지를 바탕으로 유사한 느낌을 가진 템플릿을 여럿 추천. 이런 식으로, 이용자가 원하는 맥락의 이미지 결과물을 찾아주려고 함.

세상엔 이미 꽤 유명한 이미지 플랫폼도 있고, 심지어는 챗GPT가 원하는 이미지를 뚝딱 만들어주기도 하는 세상입니다. 국산 솔루션이 다른 나라 가서 많이 팔린다는 이야기는 듣기 어렵고요. 그래서, 국내 기업이 미리클넷과 같은 AI 엔진을 만들어 글로벌 시장에 도전한다는 것이 신선하게 느껴졌습니다. 미리디가 운영하는 AI 이미지 플랫폼 ‘미리캔버스’가 해외 진출 1년 9개월 만에 누적 가입자 100만 명을 돌파했다는 이야기도 흥미롭게 들렸고요. 미리클넷은 현재 미리캔버스에 들어가 ‘AI 프레젠테이션과 AI 이미지 생성·편집’ 등의 기능을 강화하고 있습니다.

그래서 만났습니다. 미리클넷을 만드는데 역할을 한 이 회사 장시온 연구원, 신동한 프로덕트매니저(PM)을요. 이들에게 “디자인만을 겨냥한 별도의 AI 엔진이 왜 필요한지, 이 기술이 일반 사용자들에게 어떤 경쟁력이 있을 거라고 보는지” 등을 물었습니다.

(왼쪽부터) 미리디 장시온 AI 연구원, 신동한 AI PM. 장시온 연구원은 국내 주요 게임사에서 자연어처리기술과 비전AI 등을 개발해 왔다. 신동한 PM도 게임사 출신으로 게임 기획과 프로덕트 매니저 일을 했다.

디자인 툴은 이미 여럿 있다. 예컨대 캔바도 있고. 미리디가 어떤 차별성이 있나

신동한 PM(이하 신동한)= 다른 툴들과 비교하자면, 접근 방식에 차이가 있다고 생각한다. 기존의 툴들은 이용자가 요구하는 임무(task)를 빠르게 쳐내는 데 집중했다. 우리는, 임무 완수보다는 디자인 결과물 자체를 (이용자가 만족하도록) 강화(enhancing) 해야 한다고 봤다.

디자인 결과물을 강화하려면, AI 엔진이 별도로 필요한가?

신동한= 미리캔버스에서 검색해 나오는 유효 템플릿만 50만개가 있다. 제대로 검색이 안 되면, 원하는 걸 고르기 위해 50만개를 다 찾아봐야 한다. 그렇게 해서 마음에 드는 좋은 템플릿(혹은 이미지)을 찾으면 다행인데, 그렇지 못하면 이용자가 너무 괴로운 상황이다. 엄청나게많은 템플릿 중에서, 이용자가 진짜로 원하는 걸 제대로 빨리 검색해 주고 추천해서 채택률을 올리는 방식으로 사용성을 개선하는 거다. 그런 차원에서 미리클넷을 개발했다.

이용자가 원하는 템플릿을 제대로 찾으려면 AI 엔진은 어떤 학습을 하나?

신동한= 예를 들어서, 화장품 브랜드의 로고를 AI로 만든다고 가정해 보자. “미국 10대 여성이 쓸 비건 브랜드의 로고를 만들어 달라”는 식으로 주문을 넣을 수 있다. 그리고, 예시가 될 로고 사진을 넣어줄 수도 있다. 그러면, 그 이미지를 보고 AI가 해당 스타일의 톤앤무드를 추론해 가져올 수 있도록 학습시켰다.

조금 더 예를 들어달라

신동한= 템플릿에 풍선 이미지를 넣는다고 생각해 보자. 풍선도 여러 이미지가 있다. 실사도 있고, 3D도 있고. 기존에 만들어져 있는 템플릿의 톤앤무드를 보고는 그에 맞는 풍선 이미지만 가져오는 식으로 학습시키는 거다.

미리클넷 개발은 언제부터 시작했나

장시온 AI 연구원(이하 장시온)= 작년 7부터 AI 스타일 검색 프로젝트를 시작했다. 그 결과가 나오면서, 템플릿 검색으로 개발 범위를 넓혔다. 지금은 국내를 넘어 해외로 서비스를 확장하는 상태다.

타깃 국가는 어디 어디인가

장시온= 우선은 일본과 미국이다.

최근에는 우리가 흔히 쓰는 챗PGT나 제미나이와 같은 모델들에서도 이미지를 이용자가 만족도가 높게 잘 만들어주지 않나. 특별히 이런 이미지 검색 엔진이 왜 별도로 필요한가?

장시온= 미국의 빅테크들이 모델을 엄청나게 찍어내고 있고, 이런 모델들이 우리의 베이스가 되기도 한다. 그런데, 그 파운데이션 모델 자체로 시연이나 데모를 하면 결과가 굉장히 안 좋다.

이유를 잘 살펴보면, 미국의 빅테크는 ‘모든 도메인에 잘 통하는’ 오픈 도메인이라 볼 수 있다. 그래서 세부 도메인으로 가면 상황이 달라진다. 디자인 회사가 디자인을 도메인으로, 디자인과 관련한 데이터를 학습시켜 돌아가도록 만든 엔진이 오픈 도메인과 비교해 디자인에서 경쟁력이 있을 수밖에 없다. 목적 자체가 다르니까.

디자인을 위한 AI 엔진을 기획하고 개발할 때 무엇에 가장 초점을 뒀나

신동한= 우리가 생각하기에, 미리캔버스의 이용자들은 ‘목적형 사용자’다. 엔터테인먼트를 원해 우리 서비스를 찾는 게 아니다. 우리 앱에 오래 머무르고 싶은 게 아니라, 빠르게 (일을) 해치우고 싶은 게 사실 가장 큰 목표다.

그래서 그걸 빨리 해결해 주고 싶었다. 검색을 정확하고 빠르게 가져오려면, 사람들이 원하는 디자인 맥락까지 이해해야 한다. 스타일에 대한 이해를 중요하게 봤다. 기존에는 키워드 기반의 검색을 했다. 가장 전통적이고 일반적인 방식이다. 그런데 키워드 기반은 우리가 원하는 톤앤무드나 뉘앙스를 해결하기 어려웠다. 그래서 키워드는 필터 차원으로 놓고, 사람들이 원하는 톤앤무드를 모델링해 검색하는 형식으로 바꿨다.

예를 들어 우리 서비스에 들어온 이용자가 헬스장 홍보물을 만들고 싶었다고 치자. 본인이 원하는 스타일로 결과물이 나와야 하는데, 그 과정까지 이용자들의 어려움이 많다. 디자인 전공자도 아닌데, 예쁜 디자인을 만들기 어려우니까. 그래서, 결국에는 이용자가 원하는 결과물을 만들도록 책임져주는 것을 목표로 삼았다.

엔진을 개발할 때 가장 고민했거나, 혹은 힘들었던 부분은 무엇인가?

장시온= 통상은 검색을 텍스트로 한다. 그러나 디자인은 그 특성상 언어적으로 표현할 수 없는 부분이 있다. 사람도 어떤 부분은 언어적으로 표현하기 어려울 때가 있지 않나. AI가 이를 잘 이해할 수 있도록 언어는 언어대로 잘 찾을 수 있도록 정리했고, 비언어적인 해결 방법도 도입하려 했다. 이미지를 입력하고 이미지를 출력할 수 있게 하는 건데, 이런 부분을 모델에 적용하기 위해 아이디어를 낼 때 정리가 어려웠다.

비언어적인 부분의 데이터는 어떻게 확보했나

장시온= 크게 두 가지 방법이다. 우선, 미리캔버스가 지난 10년의 업력 동안 쌓아온 유저 채팅 로그 데이터가 있다. 유저가 검색어를 입력한 후 어떤 요소를 골랐다는 것은 ‘검색-결과물’의 매칭이 잘 됐다는 뜻이므로 그간의 데이터를 학습해 적절한 결과물을 찾는 모델을 고도화했다. 여기에는 검색어를 통해 (이미지) 요소를 찾는 모델과, 디자인 이미지를 가지고 유사한 결과물을 찾는 모델이 모두 포함된다.

또, 미리디라는 회사에는 사내에 전문 디자이너가 있다. 이들이 고퀄리티의 템플릿을 많이 만들어낼 수 있으므로, 이 템플릿을 벡터 차원에서 AI 모델이 이해할 수 있도록 하는 방법론을 채택했다.

PM의 입장에선 어떤가? 어떤 부분을 고민했나

신동한= 가장 해결하고 싶은 문제는 ‘고객이 디자인할 때마다 필요한 게 다르다’는 문제였다. 통상 검색에선 ‘개인화’를 먼저 시도한다. 사람마다 취향이 하나이고, 이 사람 취향대로 결과물을 보여주면 된다는 생각을 기반으로 한다.

그런데 우리 서비스는 좀 다르다. 왜냐하면, 사람이 한 명이라고 하더라도 내가 만드는 콘텐츠의 목적에 따라 내 취향도 달라질 수밖에 없어서다. 예컨대 업무 프레젠테이션을 할 때와 청첩장을 만들 때는 원하는 게 완전히 달라질 수밖에 없다.

그래서, 사람 단위가 아니라 세션 단위로, 이용 맥락 단위로 그 사람에 대한 이해가 필요한 상황이 있었다.

매우 중요한 부분이다

신동한= 개인화로는 부족하다는 판단을 했다. 그래서 결국엔 맥락에 대한 이해가 필요하다고 봤다. 그런 부분을 이용자가 체험해, 맞춤형 옷 제작처럼 느꼈으면 좋겠다고 생각했다.

AI 엔진이 제 역할을 하는지, 그 평가 기준은 내부적으로 무엇이라 세웠나

신동한= 결국에는 이용자가 검색 후 이미지나 템플릿을 채택하는 ‘채택 전환율’이다.

그 전환율이 어느 정도 되면 만족스럽다고 판단하나

신동한= PM의 욕심으로라면, 두 배 정도는 올랐으면 좋겠다(웃음)

AI 엔진의 고도화 방향은 어떻게 잡고 있나

장시온= 일단은 모델링에 대한 최신 논문이나 모델을 적용하려 한다. 또, 학습방법도 중요하다. 내부 디자이너가 전문적으로 찍어 놓은 템플릿이 있긴 하지만, 우리가 어떤 룰을 만드느냐에 따라 학습 데이터의 질이 확실히 달라진다. 경량화도 추구해 나아가야 할 방향이다.

경량화는 왜 필요한가

장시온= 서비스가 무겁다 보면 파운데이션 모델의 API를 쓸 때 금액이 많이 들어간다. 덧붙여서, 외부 파운데이션 모델은 우리에 맞게 튜닝을 별도로 해주진 않는 데다 이미지라는 전문적인 영역은 저희가 더 잘할 수 있으므로, 경쟁력을 갖추는 방향으로 발전하려고 한다.

앞으로의 계획은?

신동한= 글로벌 확장을 노리고 있다.

글로벌 확장에 미리클넷이 어떤 도움이 될 거라고 보나

신동한= 예를 들어, 미리디가 국내 유저 데이터는 많이 확보하고 있다. 그런데 글로벌의 경우엔 유저에 대한 데이터가 부족하다. 글로벌 이용자들의 검색 맥락에 대한 이해가 있어야 맞춤형 결과를 보여줄 수 있는데, 그런 측면에서 미리클넷이 가진 이점을 기대하고 있다.

예컨대, 똑같은 ‘만화’라고 해도 한국 만화 다르고 일본 만화 다르고 미국 만화가 다르다. 좋아하는 콘텐츠에 대한 기호나, 그래픽이 매우 다른데, 미리클넷이 그런 부분을 어떻게 해결할 수 있나

신동한= 우리가 AI 엔진이 ‘맥락에 대한 이해’가 중요하다고 했던 게 정확히 바로 그 이유 때문이다. 한국 사람에 대한 최적화된 검색 결과를 만들어놓는다고 하더라도 그 솔루션을 들고 미국에 진출하면 (그간의 데이터 확보로 인한) 장점이 많이 희석된다. 그런데, 맥락으로 접근하면 이야기가 달라진다.

한국인이든 미국인이든 3D 디자인을 할 때는 3D 디자인 요소가 필요한 거다. 그래서, 맥락으로 접근하면 그런 문화 장벽이 많이 낮아질 수 있다고 본다. 지금은 문화 차이보다는 오히려 사용자의 상황을 인지해서, 그 사용자가 과거에 뭘 해왔는지를 아는 것이 더 중요하다는 접근을 했다.

장시온= 우수한 학생은 수학을 잘하면서 영어도, 국어도 잘 하지 않나? 모델링도 마찬가지다. 한국어와 영어, 일본어를 같이 학습해서 이 세 가지 태스크가 각각의 태스크에 서로 도움을 줄 수 있도록 다국어 언어모델을 만들고 있다.