[인터뷰] “누가 내 선생님이고 누가 AI 인가, 학생들도 구분 못 해요”

직접 봤다. AI 교수가 수업하는 영상 장면을. ‘AI는 티가 나겠지’ 하는 마음으로 시청했다. 표정은 그대로인데 입술만 움직이거나, 말하는 입모양이 어색하지 않을까, 누가 사람이고 누가 AI인지 대번에 알아채겠다는 마음가짐을 일찌감치 갖고 있었다.

그런데 실패했다. 사람도 사람 같고, AI도 사람 같았다. 말을 할 때 코를 찡긋 거린다거나, 눈을 크게 뜨면서 이마에 주름이 잡히는 모습까지 양쪽 영상에 나온 인물은 말 그대로 ‘한 사람’처럼 보였다.

나만 AI 교수를 구분 못하겠단 답을 낸 것도 아니었다. 학생들 역시 누가 평소에 자신을 가르쳤던 선생님인지, 누가 이 선생님을 기술합성으로 구현한 AI 휴먼인지, 대부분 맞추지 못했다고 한다. 이 기술의 개발사 딥브레인AI가 밝힌 실제 교수와 AI 교수의 싱크로율은 97.5%다.

이게 가능한 것은 AI 교수가 실제 사람 교수의 영상을 학습해 만들었기 때문이다. 사람마다 말을 할 때 쓰는 얼굴 근육, 표정 등이 다양한데, AI 교수는 이를 그대로 모사했다.

AI 교수를 만든 딥브레인AI는 원래 생성AI 기술을 다루는 곳이다. 글로벌로는 AI 가상인간을 영상으로 합성하는 ‘AI 스튜디오스’를 판매하고 있고, 국내에서는 고인의 생전 모습을 AI로 구현해주는 리메모리 사업을 하고 있다. 두 사업 다 AI 기술로 가상인간을 만들어내는 것인데, 그 활용 범위를 최근에는 AI 교수 제작과 딥페이크 탐지 솔루션으로 넓혀 주목받고 있다.

AI 교수는 어떤 필요에 의해 등장했을까? 사회적 문제가 되는 딥페이크를 잡는 탐지 솔루션에는 언제부터 공을 들였을까? 질문에 대한 답을 듣기 위해 10일, 서울 강남에 위치한 딥브레인AI 사옥을 찾아 이 회사의 국내사업개발그룹과 영업총괄을 맡고 있는 이정수 이사를 만났다.

이 인터뷰는 크게 두 가지 파트로 나뉜다. 첫 번째, AI 교수가 어떻게 만들어지고 작동하는 지에 대한 내용이다. 학교 현장에서 왜 AI 교수의 필요성을 느끼는지, 학생들은 이를 어떻게 받아들이고 있는지 물었다.

두번째, 딥페이크 탐지 솔루션과 관련한 파트다. 진짜와 합성 이미지를 학습해, 합성 이미지에만 나타나는 패턴을 찾아 진위를 분별한다. 경찰청이 딥페이크 수사에 딥브레인AI의 탐지 솔루션을 쓴다. 딥페이크가 문제가 될 것을 예견, 미리 기술을 준비해왔으나 막상 솔루션을 판매해야 할 시점이 오자 고민도 따라 생겼다. 탐지 솔루션을 찾는 곳은 많은데, 실제 구매해가는 곳이 적어서다. 왜냐? 이런 솔루션은 주로 관공서, 정부 부처에서 사가야 하는데 이들이 “솔루션을 구매할 예산이 없다”고 하기 때문이다.

이정수 이사는 “미래 기술에 대한 투자가 중요하게 일어나는 만큼, 현재 문제를 해결하기 위한 솔루션도 잘 굴러갈 수 있도록 예산이 배정되어야 한다”고, 인터뷰 중 여러번 강조했다. 정말 귀기울여 들어야 할 이야기다. 큰 돈 들여 기술을 만들어 놔도 돈이 없어 아무도 안 쓴다면 그 기술은 아무 쓸모가 없는 것이 되어버리지 않겠는가.

Part1. AI 교수의 등장

AI교수라는 존재가 매우 흥미롭다

기업과 학교 관계자들을 만나면서 AI 기술을 사업화 하는 부분에 중점을 두고 일 하고 있다. AI 기술을 좋은 방향으로, 순기능을 활용할 수 있는 방법을 많이 고민했다. 왜냐하면, 그간 AI 휴먼과 관련한 기술 없이도 다 잘 살지 않았나(웃음). 비용을 주고 이 기술을 샀을 때 어떤 부분에서 장점이 있고 시너지가 날 수 있는 지를 제안하고 사업을 확대하고 있는데 그 중 하나가 AI 교수다.

어떻게 만들어지나

교수님들이 기존에 강의했던 영상을 받아 학습해 그 교수님과 똑같은 모습의 AI 휴먼을 만든다. 교수님이 작성한 스크립트를 넣으면, 실제로 그 교수님이 말씀하시는 것과 똑같은 영상이 나온다.

실제 교수와 싱크로율은 얼마나 되나

학생들에게 블라인드 테스트를 했는데 구분하지 못하더라. 싱크로율이 97.5%가 정도다. 이 사업을 하면서 느낀 부분이 많은데, 사람들이 입술이 딱 일자로 되어 있는 이는 거의 없다. 치아도 다 다르고, 얼굴 표정도 제각각이다. 입모양 뿐만 아니라 얼굴 근육의 움직임 같은 것을 모두 학습해서 영상으로 봤을 때 차이를 못 느끼도록 구현하고 있고, 그걸 인정받았기 때문에 서울사이버대 같은 곳에서 AI 교수를 도입하는 거다.

무엇을, 어떻게 가르치는지 궁금했는데, 지식을 전달하는 수업은 가능하겠지만 토론 수업 같은 건 어렵겠다

운영적인 부분은 아직 말하기 어렵다. 하지만, (사람) 교수님들이 교육 영상 AI로 할 수 있는 부분은 AI 교수를 활용해 진행할 것 같고, 지금처럼 대화가 필요하거나 학생들에 더 접근해야 하는 수업의 경우는 실제 사람 교수님이 운영하지 않을까 생각한다.

앞으로 스크립트 없이, AI 교수가 기존의 교재를 바탕으로 학습 내용을 구성하게 되는 것도 가능한가?

그게 앞으로 나아가는 방향이지 않을까 생각한다. 그런데 아직까지는 교수님들이 만든 교육 자료를 가지고 AI 휴먼이 입모양을 맞춰 읽는 정도다.

그래도 사람 교수가 스크립트를 다 써야 하니 게으른 교수는 못 쓰겠다(웃음)

굳이 (텍스트로) 쓸 필요는 없다(웃음). 그냥 말씀으로 해주셔도 된다.

학교에선 어떤 고민 때문에 AI 교수가 필요하다고 보던가

우선, 교수님들이 영상을 촬영하고 만드는 부분에 생각보다 많은 리소스와 시간, 비용이 들어간다. 메이크업도 해야 하고, 촬영 스케줄도 서로 맞춰야 하고. (높은) 품질의 영상을 만들기 위해서는 휴대폰으로 찍는 게 아니고, 스튜디오나 시설을 만들어야 하는데, 비용 부담도 있다. 또, 영상 수업을 찍는데 드는 시간을 아끼게 되면 교수님들이 그 여유 시간을 학생과 소통하는 데 더 쓰려고 한다고 이야기를 들었다. 특히, 영상 수업이 많은 사이버대학 등에서 먼저 관심을 보이고 있다.

AI 교수를 만들 때 가장 고려했던 부분은 무엇인가

이미 미디어나 방송, 쇼핑 등에서 활용할 수 있는 AI 휴먼은 상용화한 경험이 있다. 그런데 수업 같은 경우에는 짧은 영상이 아닌 긴 영상이라는 점이 다르다. 또, 학생들이 수업을 들을 때 지루함이 없어야 한다. 어떻게 임팩트 있는 수업을 만들어서 학생들을 집중시킬 수 있을지에 대한 고민을 계속 하고 있다.

학생들은 AI 교수를 거부감 없이 받아들이나

아직은 초기라서 그런지 불편해 하는 부분이 없다. 블라인드 테스트를 했을 때 학생들이 AI 교수인 것을 눈치채지 못한다.

이런 기술은 항상 긍정적으로 보는 분과 부정적으로 보는 분이 동시에 존재한다. 예를 들어서, 운영적으로 본다면 교수님들이 촬영과 영상을 만드는 데 드는 시간을 아껴서 학생들과 소통하는 데 집중할 수 있다면, (학생들도) 더 좋아할 수 있지 않을까 생각한다.

AI 교수에 회사 차원에서 거는 기대치는 얼마나 되나

국내 사이버대학이 전국에 스물한 곳이 있다. 글로벌로도 확장 가능해서, 계속 확대될 것이라고 보고 있다.

그런데, 이 AI 교수는 오히려 입시 학원에서 훨씬 더 잘 팔릴 것 같다

지금은 이런 기술을 어떻게 활용하면 시너지가 날 수 있을지를 발굴하는 단계다. (입시학원 같은 경우도) 이렇게도 쓸 수 있구나라는 걸 알게 되면 (쓸 수 있지 않을까). 사업이나 시장이 확대되고 있다.

part 2. 딥페이크를 딥페이크로 잡는다

최근 언론보도를 보면 AI 기술 스타트업 중에서 딥브레인AI에 대한 언급이 많게 느껴진다. 아무래도, 딥페이크로 만들어진 허위 영상을 잡는 솔루션을 공개해서 인 것 같은데. 어떻게 가짜 영상을 잡아내나

탐지 모델 같은 경우, 변조된 이미지하고 원본 이미지를 쌍으로 만들어 데이터를 사용한다. 두 이미지를 비교해 보면 미세한 차이가 있는데, 이런 차이 부분을 학습해 가짜 영상을 탐지하도록 설계하는 방식이다.

어떤 미세한 차이 말인가?

픽셀 단위로 보면 값의 차이가 있다. 이미지를 분석하면 패턴이라는 게 나오는데, 그 픽셀 변화 패턴을 학습한다. 학습이 완료가 되면, 이미지의 패턴을 보고 이게 진짜인지 가짜인지에 대한 확률을 출력하는 방식이다.

정확도가 어떻게 되나?

기준이 없다. 딥페이크 기술도 계속 발달하고 있다. 탐지 모델은 이 기술을 쫓아가는 형태다. 빠르면 6개월, 늦으면 1년 정도 걸려서 탐지할 수 있는 기능을 탑재하는 거다. 어제까지는 탐지 기술을 아주 높게 올려놨더라도, 오늘 새로운 기술이 나오면 정확도는 떨어진다.

그렇지만, 정확도가 덜어진다고 이 기술을 쓰지 말 것이냐면 그건 아니다. 이런 솔루션을 도입해서 단 1%라도 범죄를 예방할 수 있다면 의미 있는 사업이라고 보고 있다.

딥페이크 탐지 솔루션을 시작한 이유는 무엇인가?

2019년부터 연구를 시작했고, 2021년부터는 딥페이크와 관련해 사회적 이슈가 있을 거라는 것이 예견됐다. 다만, 이게 당장 매출이 나오는 사업은 아니다보니 여러 기업에서 진행하지 못했다. 딥브레인AI는 생성AI 사업을 하면서 사회적 책임감이 있었다. 그래서 (범죄 예방을) 사전에 준비하자는 차원에서 준비해 실제 사용화까지 진행한 사례다.

경찰청과도 딥페이크 수사에 협업 중이다. 그 외에 어떤 곳에서 딥페이크 탐지 솔루션을 찾나

관공서나 도청, 시청 같은 곳에서 많이 찾는다. 지금 이슈가 많이 되다보니 각 부처에서도 많이 찾고 있고. 그런데 한 가지 아쉬운 점이 있다. 이런 기술은 사회적 현상이 있을 때 즉각 구입해서 적용해야 한다. 그런데 문제 파악을 하고 대처 방안을 찾고 예산을 책정해서 집행하는 데까지 시간이 너무 많이 걸린다. 지금 당장 문제를 해결하려면 솔루션을 도입해야 하는데, 도입을 안 한다. 정확히는 못 하는 거다.

그 예산이 집행될 때 쯤에는 이미 딥페이크 기술도 또 발전해서 새로운 탐지 솔루션을 만들어야 할 상황이겠다

예산을 잡고 몇 년 가는 동안 또 새로운 기술이 도입이 돼, 지금 갖고 있는 기술은 무용지물이 될 확률이 높아 보인다.

R&D 개발에는 예산을 많이 집행하는데, 반대로 그 R&D로 만들어진 기술 솔루션 구매는 비용이 없어서 못하는 경우가 많다. 참 아이러니한 상황이다.

중요한 지적이다. 예산 받아 만들어도 그 기술이 안 팔리거나 쓸 곳이 없으면 사장된다. 예산으로 키운 기술이 잘 팔릴 수 있는 시장이 열려야 할텐데. 그래야 더 큰 투자도 일어날 수 있겠고

선행 기술을 만들기 위해서 R&D 투자도 이뤄져야 하는 것은 당연하다. 그렇지만 균형이 필요하다. 만들어진 기술이 잘 활용될 수 있도록 솔루션 도입을 하는 데도 예산이 집행되어야 하지 않겠나. 이건 정말로 하고 싶은 말이다.

앞으로의 계획은?

딥페이크 기술 관련, 새로 나오는 기술에 대해서 대응하려 하고 있다. 매출도 물론 중요하지만, 사회적 책임감을 갖고 그런 사업 부분을 계속 확대하려 한다.

AI 휴먼의 경우에는 감정적인 부분, 의상 변경 부분 같은 게 아직은 조금 약하다. 이런 부분을 어떻게 보강할 것인지를 고민 중에 있다. 대학 교수님들과 만나 개선점을 듣고 반영, 기술 최적화를 하려 한다. 또 AI 교수를 활용하는 교수님들이 학생들과 교류하고 소통하는 부분에 대해서도 새로운 아이디어를 내, 사업을 확대하려 준비하고 있다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network