SK쉴더스 “LLM, 딥페이크·딥보이스 등 AI 보안위협 현실화…생성AI 시대 대책 필요”

발생가능한 생성AI 서비스 취약점 분석, 3가지 공격 시나리오 시연 

화이트해커 전문가그룹인 이큐스트(EQST)을 보유하고 있는 SK쉴더스(대표 홍원표)가 인공지능(AI) 기술 확산에 따라 대형언어모델(LLM), 딥페이크와 딥보이스 등 AI 보안위협이 현실화되며 확산되고 있어 대비가 필요하다고 경고했다.

이재우 SK쉴더스 EQST/SI 사업그룹장(전무)은 2일 서울 중구 페럼타워에서 열린 ‘2024 상반기 보안 트렌드 및 안전한 AI 활용 위한 보안 전략’ 미디어 세미나에서 올해 상반기 보안 트렌드와 주요 침해사고 사례를 소개하면서 “AI 도입이 활발해지고 있는 가운데 AI 보안공격 유형도 같이 증가하고 있다”고 강조했다.

이 전무는 올 상반기 주요 보안 이슈를 소개하면서 “AI 딥페이크 공격으로 340억원을 송금한 사고가 홍콩 금융사에서 발생했다. 최근 딥페이크나 딥보이스 관련 사고가 증가하고 있어 해당 기술을 악용한 공격에 주의가 필요하다. 보안대책에 대한 고민도 필요한 상황”이라고 말했다.

아울러 “독일을 타깃으로 한 악성 메일 공격에서 대형언어모델(LLM)로 생성된 악성스크립트가 사용된 것으로 확인됐다”며 실제로 최근 LLM이 해커의 보조수단으로 활발하게 활용되고 있다. AI를 활용해 사이버 공격들이 좀 더 정교화되고 고도화될 것으로 예상된다”고 지적했다.

EQST(Experts, Qualified Security Team)가 올해 상반기 해킹 사고 사례와 연구 결과를 토대로 분석한 결과, 가상자산 탈취, 딥페이크 해킹 공격 등이 이슈화된 사례로 나타났다.

이에 따르면, 지난 1월에는 전 세계적으로 사용되고 있는 이반티(Ivanti) 가상사설망(VPN) 솔루션에서 제로데이 취약점이 발견돼 다양한 산업 분야에서 피해를 입었다. 2월에는 중국 정부 지원을 받는 것으로 알려진 볼트 타이푼(Volt Typhoon)이 미국의 주요 인프라 내부망을 공격했다는 사실이 밝혀졌다. 딥페이크로 구현된 화상회의에 속아 340억원의 거금을 송금한 사례가 있었다. 3월에는 오픈소스 XZ 유틸스(Utils)에서 백도어가 발견됐다. 4월에는 LLM에 의해 작성된 악성 스크립트가 사용된 악성 메일 공격이 발생했으며, 5월에는 블록체인 기반의 게임 플랫폼이 해킹돼 300억원의 가상자산을 도난 당하는 사건이 발생했다.

EQST가 분석한 상반기 업종별 침해사고 발생 통계를 살펴보면, 국내에서는 금융업을 대상으로 한 침해사고가 20.6%로 가장 높은 비중을 차지했다. 비트코인 ETF 승인 등의 이슈로 가상자산의 가치가 상승해 이를 노린 해킹 공격이 지속됐다. 국외에서는 러시아, 이스라엘 등 국제 분쟁으로 인해 정부와 공공기관을 대상으로 한 공격이 26.7%로 가장 높은 순위를 차지했다.

유형별 사고 발생 통계로는 취약점 공격이 45%로 가장 많이 발생했는데, VPN, 라우터 등 네트워크 장비를 통한 지능형지속위협(APT) 공격 때문인 것으로 조사됐다. 사람의 심리를 이용해 기밀을 탈취하는 수법인 ‘소셜 엔지니어링’ 공격이 26%로 뒤를 이었다. 이 전무는 이같은 공격에 대해 “AI 스피어 피싱으로 소셜네트워크서비스(SNS)를 이용한 소셜 엔지니어링 공격”이라고 설명했다.

네트워크 장비의 신규 취약점을 활용한 공격도 성행했는데, 작년 동기에 비해 2배 이상 증가하는 수치를 보였다. 또 보안 패치가 발표되었지만 패치를 적용하지 않은 상태를 노린 원데이(1-Day) 취약점을 악용하거나 합법적인 도구를 사용한 랜섬웨어 공격들이 발생했다. 최근 랜섬웨어 공격자들이 보안 솔루션 탐지를 피하기 위해 RMM(Remote Monitoring and Management) 기술을 타깃하거나 LotL(Living off the Land) 방식을 사용하고 있어 각별한 주의가 필요하다.

RMM은 원격으로 IT 시스템과 네트워크를 모니터링하고 관리하는 기술 및 서비스를 말한다. LotL은 악성코드 사용을 최소화하고 서버 내 설치된 정상 프로그램을 악의적으로 활용하는 기법이다.

‘프롬프트 인젝션’, ‘불안전한 출력처리’, ‘민감정보 노출’ 등 AI LLM 취약점 공격 가능

이날 EQST는 생성형 AI가 급속도로 발전하며 AI가 가져올 수 있는 보안위협에 관한 연구결과도 발표했다. 비영리단체인 OWASP(Open Web Application Security Project)에서 발표한 AI LLM 서비스에서 발생 가능한 10가지의 취약점을 EQST가 직접 분석해 이 가운데 위험도가 높은 3가지를 시연했다.

그 첫 번째로 ‘프롬프트 인젝션’(Prompt Injection)은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 본 목적 이외의 답변을 이끌어내는 취약점으로 악성코드 생성이나 마약 제조, 피싱 공격 등에 악용될 수 있다.

이와 관련해 이호석 EQST랩(Lab) 팀장은 “프롬프트 인젝션은 10가지 취약점 가운데 가장 기본이 되는 취약점”이라며 “다이렉트 인젝션과 인다이렉트 인젝션이 있다. 잘못된 정보나 공격자가 의도한 정보 결과가 나오게 하기 위해 프롬프트 창에 공격 구문을 주입시키거나 간접적으로 악성스크립트를 참조하게 만들어 공격을 성공시키게 만든다”고 설명했다.

두 번째로는 ‘불안전한 출력 처리’ 취약점을 꼽아 시연했다. 이 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 것으로, 다른 2차 공격으로 이어질 수 있어 위험도가 높다. 예를 들어, 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 되면 공격자가 AI LLM 운영 서버에 접속하게 되어 중요 정보를 탈취할 수 있게 되는 식이다.

이 팀장은 불안전한 출력 처리 취약점 공격에 대해 “원래는 (생성 결과가) 출력이 되면서 검증이 돼야 하지만 검증이 되지 않아서 크로스사이트스크립팅(XSS)같은 웹 해킹 공격에 사용자와 서버가 피해를 당하게 되는 것”이라며 “사용자가 공격코드(IC) 실행을 요청하면 원래는 악의적이거나 자체 AI LLM 서버에 피해를 주는 공격은 못한다고 답변해야 하지만 실행돼 LLM 운영 서버를 감염시킨 뒤 그 서버에 있는 소스코드를 탈취해 결국은 랜섬웨어 감염시키는 것까지 가능하다. 이같은 공격 시나리오가 가능해 자체적으로 만들어 봤다”고 했다.

마지막으로 개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 ‘민감 정보 노출’ 취약점을 분석, DB 정보를 탈취하는 공격도 시연했다. LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우, LLM이 생성하는 답변에 학습된 민감 정보가 출력될 수 있어 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가 보완책이 필요하다는 게 이 팀장의 얘기다.

프롬프트 보안·데이터 정제 솔루션 제시…맞춤형 AI 보안 서비스 제공

EQST는 AI 보안 대책으로 LLM 애플리케이션에서 자주 발생하는 취약점을 LLM 서비스 운영단계, 개발단계, 모델 개발과 의존 단계로 나 적용하는 방안을 제안했다. 이 팀장은 실제 적용할 수 있는 AI 보안대책으로 LLM 사용시 특화된 ‘프롬프트 보안 솔루션’과 개인정보 등 중요하거나 민감한 정보를 가명 처리하는 등의 기능을 제공하는 ‘데이터 정제 솔루션’을 사용할 수 있다고 소개했다. 아울러 EQST는 AI 서비스 보안 체크리스트를 만들어 AI 서비스 개발과 사용 시 보안 위협을 점검해 볼 수 있도록 제공한다. 이 체크리스트는 모델 개발자와 서비스 개발자, 서비스 사용자별로 항목을 만들었다. (아래 사진 참고)

SK쉴더스는 현재 AI 모의해킹부터 연계 보안 서비스까지 맞춤형 서비스를 제공하고 있다. LLM 인프라의 경우 서버, 모델 저장소, 플러그인 등 일반적인 웹 서버의 구성보다 훨씬 복잡하기 때문에 고객 환경에 맞춘 보안 시스템 구축이 필수적이라는 게 회사측 설명이다. 또 다양한 산업분야에서의 취약점 점검, 모의해킹을 수행하며 보안 수준을 높여온 경험을 바탕으로 AI 인프라 운영에 특화된 제로트러스트 환경 구축 및 운영 체계 수립 서비스를 제공할 예정이다. 기업에서 소프트웨어 자재명세서(SBOM) 등을 활용해 보안 이력을 관리할 수 있는 대책을 제시하는 등의 전략도 선보일 계획이다.

김병무 SK쉴더스 정보보안사업부장(부사장)은 “전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 이에 대한 체계적인 대비가 필요하다”며 “SK쉴더스는 선제적으로 보안 트렌드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다”고 밝혔다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network