카스퍼스키, 생성AI 위험성 경고…“악성 행위에 대한 ‘고통 거리두기 증후군’ 유발”

챗GPT(ChatGPT)를 필두로 거대언어모델(LLM) 기반 생성형 인공지능(AI) 기술이 본격 상용화되면서 사이버 범죄자들이 이같은 AI 기술을 보다 적극 활용할 것이라는 전망이 나오고 있다.

이미 사이버공격자를 위한 전용 LLM인 웜GPT(WormGPT)와 프로드GPT(FraudGPT)가 등장한 상황. 웜GPT는 사용자의 설명을 기반으로 멀웨어 코드를 생성하도록 설계된 악성 시스템이다. 프로드는 피싱 페이지를 만들고, 유출, 취약점 등을 찾는 데 사용된다.

이같은 기술은 생성AI를 활용해 대량의 악성코드를 만들어 내고 보다 정교한 피싱 공격 등을 벌일 수 있다. 무엇보다 자동화된 공격으로 인한 위협 증가도 예상된다.

글로벌 사이버보안 기업인 카스퍼스키가 인도네시아 발리에서 24일(현지시간) 개최한 ‘아시아태평양지역 사이버시큐리티 위켄드(APAC Cyber Security Weekend, CSW)’ 행사에서 연사로 나온 비탈리 캄룩(Vitaly Kamluk) 카스퍼스키 GReAT(Global Research and Analysis Team) 아태지역 리서치센터 총괄(Head)은 AI의 위험성에 대해 “모든 요소를 조합해 완전히 독립적이고 자율적인 지능형 악성 시스템을 만들 수 있을 것”이라며 “이전에 알려진 위협 행위자를 모방하고 자동으로 공격을 시작하도록 하면 실제 공격자가 그림자 속에 가려진 채 활동하는 동안 방어자들은 거짓 노이즈로 인해 더욱 바빠질 수 있다”고 말했다.

캄룩 총괄은 이어 “가장 무서운 부분은 이러한 AI 위협 행위자 사칭 공격이 수십, 수백 개로 쉽게 확장될 수 있다는 점”이라고 지적하며 “AI의 기술적 위협 측면 외에도 잠재적인 심리적 위험이 존재한다. AI가 사이버 범죄자들이 죄책감을 덜 느끼며 악의적인 작업을 수행할 수 있게 할 수 있다”고 경고했다.

이같은 증상을 그는 이른바 ‘고통 거리두기 증후군(suffering distancing syndrome)’이라고 설명했다. 사이버 범죄자가 사이버 공격 책임을 기술에 돌려 그 여파나 피해에 대한 책임감을 덜 느끼게 될 수 있다는 게 그의 설명이다. 그만큼 사이버 범죄가 늘어나는데 영향을 미칠 수 있다.

“길거리에서 누군가를 물리적으로 폭행하면 범죄자들은 피해자가 고통스러워하는 모습을 자주 목격하기 때문에 많은 스트레스를 받는다. 하지만 결코 볼 수 없는 피해자의 물건을 훔치는 가상 도둑에게는 해당되지 않는다. 마술처럼 돈이나 불법적인 이익을 가져다주는 AI를 만들면 범죄자가 비난받아야 할 대상은 범죄자가 아니라 AI로 간주해 범죄자와는 멀어지게 된다. AI는 이같은 ‘고통의 거리두기 증후군’을 초래할 수 있다.”

AI는 IT 보안팀에도 심리적 영향을 미친다. 캄룩 총괄을 이를 ‘책임 위임(responsibility delegation)’이라고 했다. 더 많은 사이버 보안 프로세스와 도구가 자동화되고 신경망에 위임됨에 따라, 특히 기업 환경에서 사이버 공격이 발생하면 사람이 책임감을 덜 느낄 수 있다는 것이다.

그는 “특히 규정 준수와 공식적인 안전 책임이 많은 기업 부문에서 방어자에게도 비슷한 효과가 나타날 수 있다. 지능형 방어 시스템이 희생양이 될 수 있다. 또 완전히 독립적인 오토파일럿이 있으면 인간 운전자의 주의력이 감소한다”고 덧붙였다.

캄룩 총괄은 AI의 이점을 안전하게 활용할 수 있도록 세가지 권고사항을 제시했다.

첫 번째는 접근성(Accessibility)이다. 방대한 양의 데이터를 기반으로 구축되고 학습된 실제 지능형 시스템에 대한 익명 액세스를 제한해야 하고, 생성된 콘텐츠의 이력을 보관하고 특정 합성 콘텐츠가 어떻게 생성되었는지 식별해야 한다.

또 WWW와 마찬가지로 AI 오용과 남용을 처리하는 절차와, 남용을 신고할 수 있는 명확한 연락처가 필요하다. 일선 AI 기반 지원을 통해 확인할 수 있고 필요한 경우 사람의 검증을 받도록 해야 한다.

두 번째는 규정(Regulations)이다. 유럽연합은 이미 AI의 도움으로 제작된 콘텐츠에 표시를 하는 것에 대한 논의를 시작했다. 규정이 강화되면 사용자는 최소한 AI가 생성한 이미지, 사운드, 동영상 또는 텍스트를 빠르고 안정적으로 감지할 수 있는 방법을 확보할 수 있다. 범죄자는 항상 존재하지만 소수에 불과하다. 이들은 항상 도망치고 숨어야 한다.

다만 AI 개발자에게는 이러한 시스템이 해로울 수 있으므로 이러한 활동에 대한 라이선스를 부여하는 것이 합리적일 수 있다는 게 그의 예상이다. AI는 ‘양날의 검’이 될 수 있는 이중 용도 기술이다. 군사용 또는 이중 용도 장비와 마찬가지로 필요한 경우 수출 제한을 포함해 제조를 통제해야 한다.

마지막은 교육(Education)이다. 모든 사람에게 가장 효과적인 방법은 인공 콘텐츠를 탐지하는 방법, 콘텐츠를 검증하는 방법, 남용 가능성을 신고하는 방법에 대한 인식을 높이는 것이 중요하다. 학교에서는 AI의 개념, AI가 자연지능과 어떻게 다른지, AI가 얼마나 신뢰할 수 있는지, AI의 환상을 깨뜨릴 수 있도록 가르쳐야 한다. 소프트웨어 코더는 기술을 책임감 있게 사용하고 기술을 남용할 경우 어떠한 처벌을 받게 되는지 반드시 알아야 한다.

캄룩 총괄은 “일각에서는 AI가 인류 문명을 파괴할 종말의 중심에 있을 것이라고 예측한다. 또 여러 대기업의 최고경영진이 나서서 재앙을 막기 위해 AI의 속도를 늦춰야 한다고 촉구하기도 했다. 생성AI의 등장으로 이미지부터 사운드, 딥페이크 비디오, 심지어 인간과 구별할 수 없는 텍스트 기반 대화까지 인간과 유사한 콘텐츠를 합성할 수 있는 기술이 획기적으로 발전한 것은 사실이다. 대부분의 기술 혁신이 그렇듯 AI는 양날의 검과도 같다. 이러한 스마트 머신에 대한 보안 지침을 설정하는 방법을 알고 있는 한 언제든지 이 기술을 유리하게 사용할 수 있다”고 강조했다.

글. 발리(인도네시아)=이유지 기자<yjlee@byline.network>