“AI 기술 발전이 이끈 ‘딥보이스’ 위협…대응 기술도 뒤따라야”

사실 같기도 하고 그렇지 않은 것 같기도 한 애매한 상황. 이럴 때는 눈으로 보는 것만큼 확실한 게 없다. 하지만 ‘목소리’라면 어떨까. 다급한 목소리로 부탁하는 친구나 가족의 목소리를 듣는다면 흔들리는 게 당연하다.

이러한 허점을 노리는 ‘딥보이스(Deepvoice)’ 범죄가 기승을 부리고 있다. 특정 신분을 사칭하는 보이스피싱의 진화한 방식이다. 실제 사람의 목소리를 입히고 사실로 믿게 만들면서 피해를 키운다. 인공지능(AI)의 발전 속에서 수법 또한 고도화되고 있어 이를 분별할 기술 발전이 함께 이뤄져야 한다는 제언이다.

한국침해사고대응팀협의회(CONCERT)는 7일 서울 여의도 전경련회관에서 ‘제27회 해킹방지워크숍’을 개최했다.

정수환 숭실대 정보통신정보공학부 교수는 이 자리에서 ‘새로운 AI 보안 위협 및 대응방안: 딥보이스를 중심으로’를 주제로 기조연설에 나섰다. 정 교수는 현재 AI 기술을 노린 위협 분야로 ▲거대언어모델(LLM) ▲딥페이크 ▲AI 시스템을 꼽았다.

챗GPT 같은 LLM을 활용한 챗봇으로 중요 데이터가 노출되거나 거짓 정보 학습을 통한 적대적 메시지 등은 큰 위협이 될 수 있다는 진단이다. 정 교수는 “사용자의 프롬프트를 조작해 챗봇을 구동하는 LLM으로부터 의도치 않은 반응을 유도할 수 있다”며 “서드파티 애플리케이션과 서비스로 (데이터) 전송이 가능한 것도 문제”라고 말했다.

이밖에도 잘 만들어진 딥페이크 모델로 명예훼손이나 허위 사실 유포 행위에 나서거나 AI 시스템 구축을 위한 딥러닝 과정에 개입해 데이터를 훼손하고 학습데이터를 탈취하는 것도 위협으로 제시했다.

분명 아는 목소리인데…

이에 더해 일반인 입장에서 더 큰 위협으로 다가오는 것이 바로 딥보이스다. 딥보이스는 ‘딥러닝’과 ‘보이스(목소리)’의 합성어로 AI가 특정 목소리를 복제하는 것을 말한다.

이제까지 딥페이크나 딥보이스 자체는 있었지만 최근에는 이를 활용한 범죄 사까지 나왔다. 보이스피싱에 활용됐다. 우리나라에서도 지난 9월 딸의 목소리로 속여 모친에게 전화를 건 일당이 적발되는 사례가 있었다. 그 사람이 실제로 말하는 것 같은 딥보이스를 제작하고 모친에게 전화를 걸어 송금을 유도했다

구조는 생각보다 간단하다. 보이스피싱 일당이 공격 대상 또는 지인의 SNS 등에서 목소리 샘플을 따고 AI를 활용해 발화할 메시지를 입힌다. 텍스트-음성변환(TTS) 기술이 이미 발전해 있기 때문에 샘플만 구하면 보이스피싱범이 타이핑으로 목소리를 만들면서 전화 통화를 진행하거나 음성변환(VC) 기술로 대상의 목소리처럼 직접 대화를 나눌 수 있다.

이미 해외에서는 피해가 크다. 한 영국기업은 고위 임원 목소리를 딴 딥보이스에 속아 22만 유로를 송금하는가 하면 아랍에미리트 은행 또한 임원을 사칭한 딥보이스에 속아 3500만달러를 송금한 사례가 있었다.

정 교수는 이같은 딥보이스 기술이 사람의 귀로는 판단하기 힘든 수준으로 발전한 것으로 봤다. 또 모델 훈련에 필요한 목소리 샘플의 양도 몇 초 수준이라 갈수록 딥보이스의 위협이 거세질 거란 진단이다.

딥보이스를 둘러싼 세부 기술도 진화하고 있다. 부분 조작 기술은 특히 위협적이다. 실제 보이스피싱 피해자의 음성을 따 놓고 특정 부분만 조작하는 방법이다. 원본 음성이 “100만원으로 A계좌로 보내주세요”라고 했다 치면, 부분 조작을 통해 “1000만원을 A계좌로 보내주세요”라며 조금만 고친다. 목소리 자체는 실제 인물인데 아주 짧은 단어나 문장에만 가짜 음성을 끼워 넣어 속이는 방식이다.

이렇듯 발전하는 딥보이스의 속도만큼 탐지 기술도 뒤따라야 한다는 게 정 교수의 제언이다. 현재는 오디오에서 불연속성을 식별하거나 호흡 ·발화·침묵 부분을 분리해 음성이 실제인지 가짜인지 분석하는 등의 관련 연구가 진행되고 있다. 이에 더해 계속 빨라지는 딥보이스 기술 발전에 발맞춘 연구가 필요하다는 조언이다.

정 교수는 “현대의 (음성) 합성 기술에 더욱 적합한 특징을 찾아내야 한다”면서 “다양한 적대적 공격 기법에 대한 대응 방안을 연구해야 한다”고 강조했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network