구글 GTIG “AI로 6시간 만에 수천개 인증정보 탈취 사례 발견”

해커가 인공지능(AI) 에이전트를 이용해 취약점 탐색부터 인증정보 수집까지 자동화하는 공격에 나서고 있다. 실제 공격에서는 클라우드 환경을 침해한 뒤 6시간 안에 다중 AI 에이전트 공격 체계를 만들고 수천개의 제3자 인증정보를 탈취한 사례도 확인됐다.

구글 위협 인텔리전스 그룹(GTIG)은 8일 공개한 ‘AI 위협 추적기(AI Threat Tracker)’ 보고서에서 공격자의 AI 활용이 단순한 질문과 코드 생성에서 벗어나 여러 공격 단계를 스스로 수행하는 에이전틱 AI와 자동화 체계로 이동하고 있다고 분석했다. 사람이 중간에 개입하는 시간이 줄면서 방어자가 공격을 탐지하고 대응할 수 있는 시간도 짧아지고 있다는 설명이다.

대표적인 사례는 금전적 목적의 공격자로 추정되는 해커가 한 조직의 클라우드 인프라를 침해한 뒤 구축한 자율형 다중 에이전트 공격 체계다.

공격자는 AI 코딩 챗봇과 프롬프트, 에이전트 지침을 이용해 대규모 인증정보 수집 공격을 계획하고 구축한 뒤 실행했다. 전체 과정에는 6시간이 채 걸리지 않았다. 사전에 작성한 마크다운 형태의 지침을 일종의 작전 매뉴얼로 사용해 취약점 탐색과 인증정보 수집을 자동화했고 수천개의 제3자 인증정보를 탈취했다.

AI 에이전트는 취약점 스캔 과정에서 발생한 오류를 실시간으로 해결하고 인터넷프로토콜(IP) 주소를 바꿔가며 공격을 이어가는 작업도 사람의 개입 없이 수행했다. 공격자는 이미 침해한 기업의 클라우드 환경을 공격 거점으로 삼아 정상적으로 보이는 IP 주소에서 공격 트래픽을 발생시켰다.

GTIG가 별도로 발견한 ‘리콘(Recon)’이라는 자동 정찰·인증정보 관리 체계에서는 공격 규모가 더 구체적으로 드러났다. 공격 서버에는 AI 에이전트를 위한 설정·지식 파일과 여러 모듈이 저장돼 있었다. 이후 공격자는 탈취한 2만3800개 이상의 ‘시크릿(secret)’을 실시간으로 분류하고 검증하는 관리 화면까지 구축했다. 여기에는 클라우드와 AI 서비스의 애플리케이션 프로그래밍 인터페이스(API) 키 등이 포함됐다.

GTIG는 이를 기존 정보탈취 악성코드에서 ‘공격형 에이전틱 수집’으로 넘어가는 변화로 평가했다. AI 에이전트가 취약점을 조사하고 서버 인프라를 스캔한 뒤 필요한 공격을 수행하는 식으로 공격 이후 과정을 상당 부분 자동화할 수 있다는 것이다.

AI가 공격 코드 만들고 보안 AI까지 속인다

AI 활용은 오픈소스 소프트웨어 공급망 공격에서도 나타났다.

GTIG가 추적하는 금전적 목적의 위협 조직 ‘UNC6780(팀PCP)’은 올해 3월 이후 파이썬 패키지 저장소(PyPI), npm, 도커 허브(Docker Hub) 등을 대상으로 대규모 공급망 공격을 벌였다.

이 조직의 악성코드 ‘더스트메이커(DUSTMAKER)’는 AI 코딩 도구가 사용하는 숨김 프로젝트 폴더에 악성 파일을 넣었다. AI 도구가 해당 파일을 정상적인 개발 환경의 일부로 받아들이도록 만드는 방식이다. 악성 설정 파일에 프롬프트를 넣어 AI 코딩 에이전트가 개발자 몰래 공격자가 원하는 명령이나 스크립트를 실행하도록 시도하기도 했다.

대규모언어모델(LLM)을 이용하는 보안 분석 도구를 피하기 위한 기법도 확인됐다. 악성 자바스크립트 코드 위에 AI 안전 정책을 작동시키는 극단적인 내용을 프롬프트로 삽입해 LLM 기반 보안 스캐너가 아래쪽 악성코드를 분석하지 못하도록 유도하는 방식이다. 구글은 해당 활동이 제미나이의 안전 기능에 탐지됐으며 관련 계정과 자산을 차단했다고 설명했다.

AI 자체도 공격 대상…모델·프롬프트·연산자원 노린다

공격자가 AI를 도구로 사용하는 것과 동시에 기업이 보유한 AI 자체도 탈취 대상이 되고 있다.

GTIG는 2분기 기술과 의료, 정부, 미디어 분야 등에서 독자 AI 모델과 소스코드, 프롬프트, 연구자료를 노린 공격을 확인했다. 의료기관 공격에서는 기업 데이터와 신약 연구자료뿐 아니라 자체 AI 모델까지 탈취한 뒤 공개하겠다며 금전을 요구한 사례가 조사됐다.

기업의 클라우드 연산자원을 훔쳐 AI를 구동하는 ‘LLM재킹(LLMJacking)’도 이어지고 있다. 지난 4월에는 공격자가 노출된 깃허브 개인 액세스 토큰(PAT)을 이용해 기업 클라우드에 침입한 뒤 고성능 연산 인스턴스를 만들고 AI 서비스를 무단으로 구동했다. 그래픽처리장치(GPU) 사용량을 늘리기 위해 클라우드 자원 한도 확대까지 요청했다.

중국 연계 사이버첩보 조직 UNC6508은 침해한 클라우드 환경에 공개 가중치 방식의 로컬 LLM을 구축했다. 상용 AI API를 이용하지 않고 피해 기업 내부에서 모델을 직접 실행하면 AI 서비스 사업자의 모니터링을 피하면서 피해자의 컴퓨팅 자원을 이용할 수 있다.

완전 자율형 제로데이 공격은 아직 확인 안 돼

다만 AI가 사람의 개입 없이 제로데이를 찾아 곧바로 실제 공격까지 수행하는 단계에 도달했다고 보기는 어렵다.

GTIG는 프런티어 AI 모델이 제로데이 취약점을 자율적으로 찾아내거나 네트워크 침투를 수행할 수 있다는 연구·사고 사례가 나오고 있지만, 공격자가 완전 자율형 공격 파이프라인을 실제 목표물에 사용한 사례는 아직 확인하지 못했다고 밝혔다.

현재 확인되는 변화는 기존 공격 과정 곳곳에 AI가 들어가 속도를 높이는 쪽에 가깝다. 공격자는 공개된 취약점 정보를 실제 공격 코드로 바꾸거나 악성코드를 만드는 데 상용·공개 가중치 LLM을 사용하고 있다. 단순 스크립트 생성을 넘어 브라우저 메모리 손상이나 샌드박스 탈출을 포함한 여러 단계의 공격 코드를 만드는 사례도 나타났다.

중국 연계 사이버첩보 조직은 여러 LLM을 번갈아 사용할 수 있는 도구를 이용해 클로드(Claude), 제미나이(Gemini), 코덱스(Codex)에 공격 코드를 작성시키고 스피어피싱 문구 생성과 오류 수정에 활용했다. 북한 연계 조직은 가짜 이력서와 채용 담당자 신원을 만드는 사회공학 공격이나 암호화폐 조직 공격에 AI를 이용했고 러시아 연계 샌드웜(Sandworm) 조직도 자동 비밀번호 대입 공격용 스크립트 작성 등에 제미나이를 활용한 것으로 조사됐다.

GTIG는 이런 움직임을 공격자가 AI를 단순한 ‘보조 도구’에서 여러 공격 도구를 연결하고 판단하는 ‘오케스트레이터’로 활용하기 시작한 변화로 보고 있다. 아직 완전 자율형 사이버공격이 일반화된 단계는 아니지만 사람이 개입해야 하는 구간을 줄이면서 공격 속도와 규모를 키우는 방향으로 진화하고 있다는 분석이다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network