이스트소프트 “AI로 범죄 증거 찾아낸다”
이스트소프트가 최근 대검찰청이 공모한 ‘딥러닝 활용 시각지능 개발방안 연구’ 수행 사업자로 선정됐다. 대검찰청의 프로젝트는 범죄 현장을 찍은 사진이나 동영상에서 중요 증거를 찾아내는데 쓰일 수사 도구를 연구하는 것인데, 이 일을 지난해 만들어진 이스트소프트 ‘에이아이 플러스 랩(AI Plus Lab)’ 소속 ‘컴퓨터 비전 파트’ 연구원 다섯 명이 맡았다. 이들은 어떤 일을 하는 사람들이고, 어떤 성과를 인정 받은 것일까. 서울 서초구에 위치한 이스트소프트 사옥에서 최근 이들을 만났다.
인터뷰의 핵심은 세 가지다. ‘이스트소프트는 왜 인공지능에 투자하는가’와 ‘대검찰청의 딥러닝 프로젝트는 어떤 내용인가’, 그리고 ‘경력직 개발자들의 딥러닝 전업 정착기’다. 재미있는 것은, 이들이 처음부터 딥러닝 전문가는 아니었다는 점이다. 30대 후반에서 40대 초반으로 이뤄진 프로젝트 팀은, 컴퓨터 그래픽이나 3D, 서버 플랫폼 등 딥러닝과는 다소 거리가 먼 일을 해왔던 개발자들로 꾸려졌다. 전공(?)을 바꿔, 최근 가장 ‘핫’하다는 딥러닝에 발 붙이고 있는 개발자들의 이야기가 흥미로웠다.
Part1. 이스트소프트는 왜 인공지능을 하나
이스트소프트는 지난해 정상원 대표가 취임하면서 인공지능에 집중 투자하기로 결정했다. 회사에 새로운 먹을거리가 필요했고, 가장 적합한 분야가 딥러닝이라는 확신을 가진 것이다. 그 결과는 ‘AI 플러스 랩’의 신설이었고, 딥러닝을 배울 능력이 있는 인재들을 스카웃했다. 장기적 관점에서 딥러닝을 연구하고, 결과물을 이스트소프트가 가진 제품군에 접목시키는 것이 이들의 목표다.
인공지능은 주로 글로벌 기업이나 대기업이 하는 걸로 알고 있다. 중견기업에서 AI에 집중하는 것은 드문 일 아닌가
권택순 차석(이하 권 차석): 회사 차원에서 제대로 인공지능을 하겠다고 방향을 잡은 건 우리 회사 정도의 규모 기준으로는 매우 이른 편에 속한다. 규모가 작아서 주목을 못 받은 거지. 알파고가 뜨기 전부터 정상원 대표가 인공지능 쪽을 주시했다. 정 대표가 인공지능이라는 것이 단기간에 되는 게 아니라는 걸 알고 있다. 그래서 원천 기능 연구에 중점을 둔다. 성과를 빨리 내라고 재촉하지는 않는다. 회사 측에서 여유 있게 지켜보고 있다.
회사에서는 연구소에 얼마나 지원을 하나
권 차석: 중견기업 치고는 굉장히 많이 투자를 한다. 전문 인력을 두고 한다는 게 대표의 전폭적인 지지가 있기 때문이다.
딥러닝 중에서도, 특히 회사에서 중점을 두고 있는 부분이 있나
박진모 책임(이하 박 책임): 우리는 컴퓨터 비전 파트다. 전체 15여 명 중에 5명이 이 부분을 맡는다. 자연어를 처리하는 파트도 있고 여러 분야로 나뉘어진다.
네이버나 카카오, 통신사는 음성인식을 기본으로 대화형 인공지능에 접근하는듯 보인다. 이스트소프트는 음성인식은 안 하나
정윤희 차석(이하 정 차석): 큰 기업에 맞는 분야가 있다고 본다. 우리가 굳이 거기에 들어가야 할까. 음성인식을 하려면 스피커든 아니든 하드웨어가 들어가야 하고, 플랫폼으로 가야 한다. 카카오톡 채팅처럼 말이다. 각자가 잘 할 수 있는 영역과 규모가 다르다고 본다.
대검찰청 프로젝트 외에 또 다른 연구 성과가 있나
권 차석: 컴퓨터 비전 파트는 아니지만, AI 플러스 랩에서 성과가 있었다. 삼성 계열사인 웰스토리에 인공지능 기반 클라우드 서비스를 공급했다. 소매상에서 식자재를 주문할 때 ‘대파 한 단’ ‘계란 한 판’ 같은 자연어로 주문하면, 실제 상품명과 매칭시켜주는 서비스가 들어갔다.
이스트소프트가 강점을 갖고 있는 보안이나 게임, 포털에 맞춘 인공지능을 개발할 예정인가
권 차석: 특정 분야에 국한하지는 않을 예정이다. 우리가 갖고 있는 여러 사업 분야에 딥러닝을 서비스화 해서 붙이려면 원천 기술 연구가 필요하다. 본사(AI 플러스 랩)에서 연구하고 그 기술을 자회사 서비스에 접목한다는 계획이다.
실제로 AI 플러스 랩에서 연구한 기술이 자회사 서비스에 붙은 케이스가 있나
권 차석: 출시 준비 중인 것이 있다. 보안 시장에 ‘아이마스’란 제품이 있다. 지능형 악성코드 자동 분석 시스템인데, 여기에 딥러닝이 접목된 상품이 연내 출시될 예정이다.
part2. 대검찰청 인공지능 프로젝트, 어떻게 진행되나
연구기간이 11월까지로, 다섯 달 밖에 안 된다. 그 안에 연구 과제가 모두 마무리 될 수 있나
권 차석: 우리 랩에서 이미 하고 있는 일이다. 대검찰청의 요구도 실제 수사도구를 완전하게 만들어달라는 것은 아니다. 프로토타입으로 가능성을 보여달라는 것과, 실제 대검 개발팀에서 수사도구 구축을 할 수 있게 하는 핵심 엔진과 방법을 달라는 거다.
어떤 능력을 대검찰청에서 인정 받았다고 보나
권 차석: 회사 규모나 참여 연구원들의 경력을 본 것 같다. 딥러닝에서 성과가 나고 있는 분야가 시각인데, 여기에서 중요한 것이 분류와 탐지 문제다. 이 부문은 펀더멘털(기초)한 부문이라 우리도 이미 연구를 하고 있던 거다. 마침 대검찰청 프로젝트도 그쪽을 기반으로 수사도구를 효율화시키는 거라서, 우리 입장에선 일석이조였다.
탐지와 분류는 어떤 건가
정 차석: 어디서(장면) 무엇(오브젝트)을 찍었는지를 파악하고, 그 중 필요한 부분만 찾아내는 것을 말한다. 다시 말해서 이 사진에 뭐가 존재하는지, 그리고 그 중에서 우리가 관심있는 게 무엇인지 찾아내는 것이 바로 탐지와 분류의 문제다.
권우석 과장(이하 권 과장): 수사를 할 때 핸드폰의 사진 자료를 많이 이용한다. 사진이 정말 엄청나게 많다. 예를 들어, 3기가바이트(GB) 씩 되는 분량을 사람이 일일히 분류 작업하기는 시간도 많이 걸리고 어렵다. 딥러닝을 이용해 ‘자동차가 있는 사진만 보여달라’ 이런 것이 탐지다. 빠르게 분류해서 수사시간을 단축시키는 게 목적이다.
박 책임: 만약 구속영장이 나왔는데 24시간 짜리면 그 안에 증거를 찾아야 한다. 증거를 탐색하는 걸 효율적으로 하도록 도움을 주는 거다. 예를 들어서 사진에서 ‘흉기’를 찾을 때, 딥러닝이 접목 안 된다면 사람이 랜덤, 또는 필터링을 해야 하는데 딥러닝이 접목되면 우선 순위를 매기거나 불필요한 사진을 제거할 수 있다.
정확도는 어떻게 측정하나
권 과장: 사진 한 장을 보더라도, 사람마다 보는 부분이 다르다. 우리가 연구하는 딥러닝에서는 각 사진의 구성 요소 중 대표적 사물 다섯가지를 알려준다. 사진 안에는 자동차나 강아지 등 수십개의 사물이 들어 있을 수 있는데, 그 중 가장 대표적인 사물 다섯가지를 표시해서 정확도와 함께 표시해주는 것이다. 그 다섯가지는 우리가 애초에 지정한 1000가지 클래스에 따른 결과물이다.
클래스는 무엇을 말하는 건가
권 차석: 처음에 우리가 컴퓨터에 학습시킨 1000가지 분류 항목이다. 이 데이터들을 학습해서, 컴퓨터가 사진에 있는 사물이 무엇인지 분류하는 거다. 만약, 그 1000가지 안에 들어가지 않는 사물이 들어 있다면 컴퓨터는 그것을 인지하지 못한다. 그 1000개 안에서는 사물 분류 정확도가 96%에 달하는 거다. 이 수치는 사람이 보는 것과 비슷한 정도다.
그 1000개 클래스는 누가 어떻게 정하나, 그리고 클래스는 꼭 1000개로 한정되어야 하나
권 과장: 1000개를 뭘로 가르칠까는, 목적에 따라 다르다. 예컨대 대검찰청에서는 범죄 현장에서 증거로 수집하는 거니까 ‘흉기’ 같은 클라스가 지정될 수 있다. 그런데 음식점이나 자동차 같은 다른 산업 분야에서는 클래스가 달라질 수 있다. 자연과학에서는 ‘구름’의 종류를 세분화해서 1000개를 만들 수도 있을 거다.
박 책임: 클래스도 꼭 1000개로 한정되어야 하는 것은 아니다. 물론 기술적인 한계 부분도 있긴 하지만, 이미 그걸 극복해낼 수 있는 방안도 연구가 되어 있다. 어떤 모델은 9000개 이상 분류도 가능하다.
권 차석: 이미 나온 기술을 현실에 적절하게 쓰는게 중요할 수도 있다. 1000개 클래스도 사실 굉장히 많은 분류일 수 있다. 업무에 따라 다르다. 범죄 현장에서 필요한 클래스만 놓고 본다면 1000개로 충분할 수 있다.
part3. 새롭게 딥러닝 전문가가 된다는 것에 대하여
권 차석을 제외하고는 학교에서, 또는 직전 직장에서 딥러닝을 전공한 사람이 없다
정 차석: 이전에는 게임 서버 플랫폼을 개발했다. 지금 인터뷰를 하고 있는 네 명 다 최근 1년 안에 딥러닝 팀에 합류한 경우다. 사실 딥러닝이 붐업된 지 얼마 되지 않아서, 지금 다같이 딥러닝을 공부하면서 모델링을 하고 있다. 나 같은 경우는, 대검찰청 프로젝트를 통해서 실제로 분산환경에서 학습속도를 빨리 하게 만드는 것이 중요하다고 판단, 그 쪽일을 같이 하고 있다.
박 책임: 앞으로 인공지능이 널리 퍼질거라 예상한다. 아직까지 ‘나의 역할’을 명확하게 찾지는 못했다. 그러나, 크게 보는 부분이 있다. 실제로 딥러닝 연구 결과가 있고, 이를 실제 서비스에 적용하는데 까지는 허들이 있을 거다. 그 둘을 연결하는 역할을 잘해야 한다고 생각한다. 그런 의미에서 이번 대검찰청 프로젝트 역시, 이미 알려진 기술을 적용하는 거라 내가 생각하는 부분과 맞아 떨어지는 것이 많이 있다. 정 차석이 말한 것처럼 게임 업계에서 나도 서버 플랫폼을 했다 분산환경에 익숙하니까 그 강점을 딥러닝 학습과 분산환경에 활용하면 빠르게 업무를 처리할 수 있으니까 그쪽으로 고민할 예정이다.
권 차석: 대학원 때 인공지능의 컴퓨터 비전을 전공했다. 그렇지만 졸업 후에는 다른 일을 했다. 최근엔 학교에서 딥러닝을 많이 하는 추세지만, 제대로 배운 사람은 극소수다. 그래서 모두들 각자 직업에서 배워온 것을 변환해서 적용해야 한다. 모두 빠르게 적응하는 중이다. 대검에서도 ‘믿을만한 소프트웨어를 만드는 것’을 중요하게 생각했는데, 여기 멤버들이 그런 걸 쭉 해왔다. 안해왔던 업무를 맡아도 빨리 배워서 신뢰성 있는 소프트웨어를 만들어 왔다는 뜻이다.
어떻게 보면 ‘딥러닝’이라는 부분에선 이제 전공을 찾아가는 학부생 같다. 이직을 하면서 아예 새로운 직무를 맡게 된 케이스인데, 어떤 고민을 하는지, 그리고 다른 경력직 개발자들에 어떤 말을 해줄 수 있을지 궁금하다
박 책임: 여기 팀원들 모두 성숙된 산업에서 각자의 확실한 전문분야를 갖고 있던 사람이라, 자기 특화된 분야를 갖고 있어야 안정감을 갖는 것 같다. 그런데 지금 여기서는 아직 남들과 구분되는 특수한 무엇 하나를 쥐고 있는 것은 아니라 불안한 것은 있다.
정 차석: 지금은 딥러닝이 개척되는 분야다 보니까 학습할 것이 많다. 불확실성을 같이 가져간다는 느낌이다. 무언가 확신을 갖고 있다기 보다, 지금 내가 공부하는 부분이 어떻게 응용될까 하는데 호기심을 갖고 있다. 산업이 성숙해지면 이 부분이 나아질 거라고 본다.
권 과장: 당장 딥러닝을 전공한 사람이 많지 않다. 대부분의 산업이 성숙할 때조차도 전공자에 의해서만 되는 건 아니다. 우리 같은 사람이 참여해야 될 거라고 생각한다. 물론 비전공자가 들어와서 꼭 차별화한 역량을 발휘할 수 있을거라고 확신하진 않는다. 다만, 일반적인 거를 닦으면서 기존 리서치 된거를 하나하나 맞춰보면서 가는 중이다. 조금씩 더 알아가는 중이다. 그래픽을 전공했었는데, 이 부분의 경력을 살려서 딥러닝에서 어떤 전공을 가질 수 있을지는 계속 고민 중이다.
향후 계획을 말해달라
권 차석: 비전 파트니까 영상이나 사진에서 중요한 정보를 뽑아서 활용하는 것을 잘해야 한다. 증강현실(AR) 같은 경우에서도 영상을 분석하는 일을 컴퓨터 비전이 한다. 우리가 갖고 있는 디지털 데이터를 갖고 합성 시켜 버리는 것이다. 이런 부분들에서 역량을 발휘하고 싶다.
글. 바이라인네트워크
<남혜현 기자> smilla@byline.network