카스퍼스키 “다크 AI 확산, 국가 배후 공격자들 생성형 AI 무기화”

카스퍼스키는 대규모언어모델(LLM)을 활용해 기존 보안 장치를 우회하고 공격 역량을 강화하는 ‘다크 인공지능(다크 AI)’의 활용이 확산되고 있으며, 특히 국가 배후 지능형지속위협(APT) 그룹들이 이를 무기화하고 있다고 18일 밝혔다.

세르게이 로즈킨 카스퍼스키 META 및 아시아태평양 지역 글로벌 연구분석팀(GReAT) 총괄 책임자는 “2023년 이후 챗GPT와 같은 생성형 AI가 급속히 보급되면서 합법적인 연구·개발뿐 아니라 공격자들의 악용 시도도 늘고 있다”며 “이제는 AI가 방패가 되고 다크 AI가 검이 되는 국면에 접어들었다”고 말했다.

다크 AI는 로컬 혹은 원격에서 제한 없는 LLM을 운영해 비윤리적·불법적 목적으로 활용하는 시스템을 뜻한다. 표준적 안전성·거버넌스 통제를 벗어나 감시 없이 기만, 조작, 사이버 공격, 데이터 남용 등을 수행할 수 있다.

대표적 사례로 ‘블랙햇 GPTs(Black Hat GPTs)’가 있다. 이는 악성 코드 제작, 표적형 피싱 이메일 작성, 음성·영상 딥페이크 생성, 레드팀 작전 지원 등 공격을 위해 고의적으로 수정된 AI 모델을 가리킨다. 이미 웜GPT(WormGPT), 다크버스(DarkBard), 프로이드GPT(FraudGPT), 샌서록스(Xanthorox) 등이 사이버 범죄에 활용된 바 있다.

카스퍼스키에 따르면 최근 APT 공격자들도 생성형 AI를 침투작전에 도입하고 있다. 실제로 오픈AI는 자사 AI 도구를 이용한 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 적발해 차단했다고 밝혔다.

로즈킨 책임자는 “공격자들은 설득력 있는 가짜 인물을 생성하고, 다국어 콘텐츠를 제작해 피해자를 속이는 데 LLM을 활용하고 있다”며 “AI는 선악을 구분하지 못하는 만큼, 공격자가 이용하면 치명적 위협으로 전환된다”고 강조했다.

카스퍼스키는 다크 AI 기반 위협에 대응하기 위해 ▲AI 기반 악성코드 탐지를 지원하는 차세대 보안 솔루션 도입 ▲AI 활용 공격을 실시간 모니터링할 수 있는 보안 도구 구축 ▲그림자 AI(Shadow AI)와 데이터 유출 위험을 줄이기 위한 접근통제 강화 ▲내부 구성원 교육을 통한 AI 기반 위협 인식 제고 등을 제안했다.

세르게이 로즈킨 카스퍼스키 META 및 아시아태평양 지역 GReAT 총괄 책임자는 “다크 AI 도구 접근성이 높아지고 성능이 강화되면서, 특히 아시아태평양 지역 조직과 개인은 보안 위생을 강화하고 AI 기반 탐지 기술에 대한 투자를 확대해야 한다”고 말했다.