생성AI 확산으로 우려 더 커지는 사이버위협

생성형 인공지능(AI) 기술은 ‘양날의 검’이라고 불린다. 수많은 장점이 부각되고 있지만 기술적 한계와 우려가 공존하며 많은 논란이 이어지고 있다. 사이버보안 분야에서도 마찬가지다.

발전된 생성AI 기술을 보안 업무에 적용한다면, 불필요한 일은 줄이면서도 보다 많은 사이버위협과 고도화된 공격 탐지 역량과 대응능력을 크게 강화해 전반적인 보안 효과를 높일 수 있을 것으로 보인다. 하지만 이같은 AI 기술은 사이버범죄자들도 사용한다. 생성AI 기술 발전으로 대두되는 주요 사이버보안 위협들을 정리해본다.

대표적인 생성AI 역기능, 보안위협

대표적인 생성AI의 역기능 가운데 하나로 손꼽히는 것은 바로 보안위협이다. 무분별하고 잘못된 사용으로 인해 기업의 기밀정보를 유출하거나 악의적인 사용으로 사이버공격 등 다양한 사이버범죄에 악용될 수 있다는 것이다.

오픈AI의 생성AI 챗봇 서비스 ‘챗GPT’가 등장한 후 AI가 단숨에 대중에게 크게 확산된 이유는 누구나 손쉬운 사용이 가능하고 그 결과를 즉각적으로 알 수 있다는 점이다. 사람들이 많은 시간과 노력을 들여온 다양한 업무에 대한 생산성과 편의성을 크게 높일 수 있게 도움을 주는 순기능이 많다.

그 반면에 틀린 답변이나 거짓을 마치 사실처럼 제시하거나 최신 정보를 제공하지 못하는 것같은 다양한 기술적 한계도 지적된다. 뿐만 아니라 부정적인 요소들도 다양하게 부각되고 있다.

‘챗GPT’와 같은 생성AI 열풍과 확산이 이어지면서 부작용을 걱정하는 목소리가 갈수록 커지고 있다. 이로 인해 유럽, 미국을 비롯한 주요 국가에서는 점점 더 강력해지는 AI의 위험을 통제하고 부작용을 막을 규제 필요성을 제기하면서, AI 관련법 마련 움직임에 나섰다.

심지어 ‘생성AI’ 대전을 촉발한 챗GPT 창시자인 오픈AI의 샘 알트먼 최고경영자(CEO)조차 최근 미 상원 의회 청문회에 나와 점차 강력해지는 AI 기술 규제 필요성을 제기했다. 그는 “AI는 희망적인 동시에 정보의 무기화, 불평등의 조장, 목소리 복제 사기 등 잠재적 해악도 품고 있다”며 “가장 끔찍한 것은 새로운 산업 혁명으로 수백만 일자리가 사라질 수 있다는 것”이라고 지적했다. 그러면서 ▲표준 AI 모델 라이선스를 담당하는 정부기관을 설립해 운영하고, ▲안전한 표준을 만들어 이 표준 테스트를 통과한 AI 모델에만 라이선스를 부여하며, ▲독립적인 기구로부터 모델의 안정성에 대한 감사를 진행하자는 방안을 제시했다.

챗GPT 공개 후 악의적인 사용에 대한 우려가 제기되면서, 오픈AI는 랜섬웨어, 바이러스, 키로거, 사기, 개인정보 침해 등 사이버범죄에 악용될 수 있는 소프트웨어와 콘텐츠 생성 시도를 금지하고 있다.

이뿐만 아니라 보다 안전하고 책임감 있게 활용될 수 있도록 불법 행위, 아동 성적 학대나 착취, 폭력 콘텐츠나 무기 개발이나 자살 등과 같은 신체에 위험성이 큰 활동, 사기, 성인 콘텐츠 등에 대한 챗GPT 활용을 허용하지 않도록 하는 사용정책을 마련했다.

이처럼 챗GPT를 안전하게 활용하기 위한 정책을 마련해 조치를 취하긴 했으나, AI의 악용 가능성을 경고하면서 정부 차원에서 규제를 통한 적극적인 통제가 필요하다고 목소리를 내고 있다.

실제 생성AI 활용으로 인한 보안 문제는 곧바로 나타났다.

기밀정보, 개인정보 유출

챗GPT가 등장한 이후 많은 국내외 주요 기업들이 기업 기밀정보와 개인정보 유출 우려로 사용을 금지하는 정책을 운영하고 있다.

삼성전자는 사내에서 챗GPT 사용을 허가하자마자 기업정보가 유출되는 사고가 잇달아 발생했다. 챗GPT에 프로그램 소스코드와 회의 내용 등 기밀정보를 입력한 사고로 알려졌다.

그 이후 삼성전자 디바이스솔루션(DS) 부문은 챗GPT에 질문할 때 글자 수가 일정량을 넘지 못하도록 제한하고, 외부에서도 AI를 사용하면서 회사나 개인정보는 입력하지 말라고 당부했다. 디바이스경험(DX) 부문은 직원들에게 챗GPT와 이를 적용한 마이크로소프트의 검색엔진 ‘빙(Bing)’, 구글 ‘바드(Bard)’ 등 생성 AI 플랫폼 사용을 금지하는 정책을 시행했다.

삼성전자뿐 아니라 포스코, SK하이닉스 등도 현재 챗GPT를 원칙적으로 사용하지 않도록 하거나 내부 인트라넷에서만 사용하도록 제한했다. 사내 전용 서비스 도입을 추진하는 기업들도 있다.

우리은행, 기업은행 등 일부 금융사들도 정보 유출 문제 등으로 사내 챗GPT 활용을 금지했다.

국내뿐 아니라 JP모건은행, 뱅크오브아메리카(BOA), 씨티그룹, 골드만삭스, 소프트뱅크, 미쓰비시UFJ은행, 도이치뱅크 등 많은 글로벌 금융업체들, 아마존, 히타치, 후지쯔 등을 포함해 영국·프랑스·호주 등 대학에서도 챗GPT를 사용한 보고서와 논문 표절 우려 등으로 챗GPT 사용을 금지하는 조치를 시행했다.

국가 차원에서 챗GPT 사용을 금지한 사례도 있었다. 이탈리아는 챗GPT의 개인정보에 대한 적법한 수집·처리 근거 부재 등 유럽연합(EU) 일반개인정보보호법(GDPR) 위반 사유를 이유로 지난 3월 말 자국 내 챗GPT 접속을 차단하고 오픈AI에 시정 조치를 명령했다. 오픈AI는 이탈리아가 요구한 조치를 이행했고, 이탈리아는 지난 4월 28일 챗GPT 접속 차단 조치를 해제했다.

피싱, 악성 메일 등 이메일 공격

사람처럼 대화하고 맥락을 읽고 고도화된 텍스트와 이미지 등을 생성할 수 있는 챗GPT같은 생성AI는 더욱 정교한 사기(피싱) 공격을 만들어 내는 데 기여할 것이란 우려가 제기된다. 많은 보안 전문가들은 앞으로 생성AI를 이용해 가짜를 판별하기 어려운 피싱 이메일을 비롯해 악성 이메일 공격이 증가할 것으로 내다보고 있다. 더욱 손쉽게 악성 이메일 제작이 가능해지면 공격 규모도 커질 수 있다. 생성AI 도구를 사용해 텍스트 입력을 다양하게 자동 변형하거나 생성할 수 있게 되면, 의미는 같지만 문장과 구조가 다른 수많은 버전으로 변형된 피싱 메일이나 스팸 메일의 대량 생산이 가능해져 전통적인 방어 메커니즘으로는 방어하기가 어려워질 것이란 예상도 나온다.

아직까지는 개인이나 조직에 큰 피해를 입힌 특정 이메일 공격 사례가 제시되지는 않고 있지만, 챗GPT가 등장한 시점 이후 최근 들어 사회공학적 수법을 사용하는 정교한 피싱 이메일 공격이 증가했다는 분석 결과가 벌써부터 보안업계에서 나왔다.

영국의 사이버보안 기업인 다크트레이스(DARKTRACE)는 지난달 자사 고객사를 기준으로 수천 개의 활성 계정에서 챗GPT와 같은 생성형 AI를 이용한 신종 소셜 엔지니어링 공격(novel social engineering attacks)이 올해 1~2월 동안 135% 증가했다는 분석 결과를 내놨다.

다크트레이스가 지목한 신종 소셜 엔지니어링(novel social engineering) 피싱 이메일은 다른 피싱 이메일에 비해 의미론적, 구문론적으로 강한 언어적 편차를 보이는 이메일 공격이다. 이같은 결과는 챗GPT같은 생성AI가 위협 행위자들이 정교한 표적 공격을 매우 빠른 속도와 광범위한 규모로 제작할 수 있는 수단으로 활용되고 있다는 것을 보여준다고 회사측은 분석했다.

이미 많은 사람들이 생성AI를 활용한 지능적인 피싱 이메일 공격 증가를 우려하고 있다. 다크트레이스가 센서스와이드와 함께 영국, 미국, 프랑스, 독일, 네덜란드에서 근무하는 직원 6711명의 대상으로 지난 3월에 실시한 설문조사에서, 응답자의 82%는 해커가 생성 AI를 사용해 진위 여부를 판단하기 어려운 사기 이메일을 생성할 수 있다는 우려를 나타냈다.

다크트레이스는 이같은 이메일 공격을 사람이 판별하고 대응하는 것은 큰 한계가 있기 때문에 AI를 적극 활용해 정상 이메일인지 의심스러운 이메일인지, 당장 조치를 취해야하는 이메일인지 판단할 수 있어야 한다고 강조했다.

이처럼 방어 영역에서 AI와 자동화 기술을 적극 활용하는 기술적인 보안 대책을 강화해야 하는 것은 물론, AI가 만들어낸 이메일 사기 공격에 대비하기 위한 피싱 피해 방지 교육 훈련이 필요할 것이다.

악성코드 등 악성 도구 제작

사이버범죄자들은 생성AI를 악성코드 제작에 활용해 효과적인 사이버공격 기술로 활용할 것으로 예상되고 있다. 더욱이 개발 지식이 없는 일반인들도 챗GPT 등의 도움을 받아 악성코드나 해킹 도구를 만들어 낼 수 있게 돼, 낮은 수준의 위협이라도 사이버범죄가 양산돼 위협 발생률이 증가할 수 있다.

이미 2022년 12월, 챗GPT가 세상에 나온 지 불과 한 달 뒤에 불과한 시점에 유명 해킹 커뮤니티에서 사이버범죄자들이 이 기술을 악성코드 제작에 활용해 공유한 사례가 포착됐다. 체크포인트 리서치(CPR)는 2022년 12월 말, 주요 유명 해킹 커뮤니티에서 챗GPT를 사용해 악성도구를 개발한 사이버범죄 사례를 처음 발견했다.

CPR이 유명 지하 해킹 포럼에서 발견한 첫 번째 사례는 ‘챗GPT-멀웨어의 이점(ChatGPT-Benefits of Malware)’ 스레드이다. 게시자는 특정 파일 형식을 검색해 임시(Temp) 폴더에 복사한 뒤 ZIP으로 압축한 다음, 하드코딩된 FTP 서버에 업로드하는 파이썬(Python) 기반의 전형적인 스틸러(infostealer) 코드를 공유했다. 실제로 이 스틸러는 마이크로소프트 오피스 문서, PDF, 이미지와 같은 일반적인 형식의 파일을 검색한다.

CPR이 발견한 또 다른 사례는 2022년 12월 21일 게시된 것으로, USDoD라는 이름의 사이버 범죄자가 자신이 만든 “첫 번째 스크립트”라며 게시한 파이썬 스크립트였다. 이 스크립트를 본 다른 사이버범죄자가 “코드 스타일이 오픈AI 코드와 유사하다”고 하자, USDoD는 “오픈AI가 스크립트를 완성할 수 있도록 도움을 줬다”고 했다. CPR이 분석한 결과, 이 파이썬 스크립트는 암호화 도구였는데, 서로 다른 서명, 암호화와 암호 해독 기능이 섞여 있었고 초보적인 도구 수준이었다. 하지만 이 암호화 도구는 일부 스크립트 구문 수정으로 손쉽게 랜섬웨어로 전환시킬 수 있는 스크립트였다.

CPR은 “UsDoD는 개발자가 아니고 기술 역량이 제한적인 것처럼 보이지만 지하 커뮤니티에서 매우 활동적이고 평판이 좋은 구성원이다. 침해를 입은 기업이나 도난당한 데이터베이스 판매를 포함해 다양한 불법 활동에 참여하고 있다”고 분석했다.

체크포인트 리서치(CPR)는 “챗GPT는 코드 생성이 덜 숙련된 위협 행위자가 사이버공격을 더 쉽게 시작할 수 있게 하는 데 도움이 된다는 점이 명백해졌다”며 “예상했던 것처럼 일부 사례는 오픈AI를 사용하는 많은 사이버범죄자가 개발 기술이 전혀 없다는 것을 분명하게 보여준다. 발견된 도구는 매우 초보적인 것이지만 더 정교한 위협 행위자들이 AI 기반 도구를 나쁜 용도로 사용하는 방식을 고도화하는 것은 시간 문제”라고 지적했다.

CPR은 올해 1월 챗GPT를 활용한 다크웹 마켓플레이스를 만들 수 있는 스크립트도 발견했다. 불법 지하경제에서 마켓플레이스는 유출된 계정이나 결제 카드 정보, 악성코드, 마약 등과 관련된 거래를 추적이 어려운 암호화폐로 이뤄지게 하는 플랫폼을 제공한다.

생성AI는 초보적인 사이버범죄자들도 악성코드를 손쉽게 만들 수 있게 하는 반면에, 방어자들이 이 기술을 잘 활용한다면 멀웨어 프로파일링이나 분석 효율성을 크게 높일 수 있을 것으로 전문가들은 보고 있다.

이종후 국가보안기술연구소(NSR) 센터장은 지난 4월 20일 개최한 ‘정보통신망 정보보호 컨퍼런스(NetSec-KR) 2023’에서 챗GPT가 사이버보안에 미치는 영향을 주제로 한 특별 강연에서 “챗GPT는 블루팀 입장에서 매우 유용하다. 공부하고자 하는 욕구를 자극하고, 코드를 만드는 데 있어 어려움을 크게 해소시켜 준다. 동시에 한계도 있다. 전문성이나 신뢰성 측면에서 부족한 점이 있고 데이터나 개인정보 유출, 취약한 코드 제작 등과 같은 새로운 위협을 발생시킬수 있다”고 강조했다.

이어 이 센터장은 “공격자(레드팀) 입장에서도 강력한 무기가 될 수 있다. 코드 변형이나 공격자를 추적하기 어렵게 만드는 용도로 상당히 위험한 면이 있다. 다만 단기간에는 초보자들이 악성코드를 만드는 용도로 많이 쓸 수 있어 방어는 어렵지 않더라도 공격자들의 공급이 단기간에 증가할 수 있을 것”이라는 견해를 밝혔다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network