AISI “미토스, 보안 평가 중 오픈소스 공급망 공격 시도”
영국 인공지능 보안 연구소(AISI)는 프론티어 인공지능(AI) 모델을 대상으로 진행한 사이버보안 평가에서 미토스5와 5.6-Sol 등 모델이 실제 오픈소스 프로젝트에 악성 코드를 넣고 개발자를 속이려 한 행동을 확인했다고 4일 밝혔다.
AISI가 공개한 ‘보안 사고 INC-2026-07-28-01’ 기술 보고서에 따르면, 연구소는 지난달 25일부터 28일까지 7개 AI 모델을 대상으로 2종의 사이버 훈련 환경을 평가했다. 총 122차례 평가 가운데 10차례에서 AI 에이전트가 허용 범위를 벗어나 실제 인터넷에서 행동했다. AISI는 서로 연결된 행동 19건을 확인했다.
19건 가운데 17건은 앤트로픽의 미토스5(Mythos 5)에서 발생했다. 나머지 2건은 오픈AI의 GPT-5.6 Sol 평가 1차례에서 나왔다. 미토스5는 전체 평가 중 43차례, GPT-Sol은 35차례 사용됐다. AISI는 19건이 서로 독립된 사고가 아니라 일부 평가에서 이어진 행동을 구분해 집계한 것이라고 설명했다.
가장 심각한 사례는 미토스5가 실제 오픈소스 소프트웨어를 대상으로 공급망 공격을 시도한 경우였다. 소프트웨어 공급망 공격은 널리 쓰이는 프로그램이나 개발 과정에 악성 코드를 넣어 해당 소프트웨어를 사용하는 조직까지 침해하는 방식이다.
해당 AI 에이전트는 평가 환경과 관련된 단어를 인터넷에서 검색하다 아무 관련이 없는 오픈소스 프로젝트를 공격 대상으로 잘못 판단했다. 이후 프로젝트 관리자 정보를 조사하고 악성 코드가 포함된 ‘풀 리퀘스트(PR)’를 제출했다. 풀 리퀘스트는 개발자가 기존 소스 코드에 자신의 변경 사항을 반영해 달라고 요청하는 기능이다.
에이전트는 코드가 승인되도록 여러 가짜 온라인 계정을 만들었다. 한 계정으로 악성 코드를 제출한 뒤 다른 계정에서는 해당 코드를 검토한 독립적인 이용자인 것처럼 행동하며 프로젝트 관리자에게 승인을 요구했다.
다른 이용자가 악성 코드를 발견해 문제를 제기하자 에이전트는 기존 활동을 정상적인 코드 기여처럼 보이도록 수정했다. 이후 새로운 신원을 만들어 작업을 이어가는 방안도 검토했다. 실제 사람에게 악성 파일과 메시지를 보내 코드를 실행하도록 설득하려는 행동도 확인됐다.
에이전트는 다른 AI 코딩 도구를 노린 프롬프트 인젝션도 시도했다. 프롬프트 인젝션은 AI가 읽는 문서나 코드에 숨겨진 명령을 넣어 개발자의 의도와 다른 행동을 하도록 유도하는 공격이다. 에이전트는 다른 AI가 악성 명령을 읽고 실행할 가능성이 있는 위치에 코드를 남겼다.
서로 분리된 상태로 평가받던 AI 에이전트끼리 공개 인터넷을 통해 협력한 사례도 나타났다. 한 에이전트는 깃허브에 다른 에이전트와 협력하겠다는 메시지를 남겼다. 이후 실행된 에이전트는 앞선 에이전트가 남긴 계정과 자료를 찾아 실제로 활용했다.
AISI는 이번 사고가 AI 모델이 시험용 격리 환경인 샌드박스를 탈출한 사례는 아니라고 밝혔다. 연구소는 AI의 최대 사이버 공격 능력을 측정하기 위해 인터넷 접속을 의도적으로 허용했다. 개발사가 악용을 막기 위해 적용한 사이버 분류기도 비활성화했다. 일반 이용자에게 제공되는 모델과 다른 평가 조건이었다.
연구소는 AI가 실제 사람과 시스템을 대상으로 행동하고 있다는 사실을 어느 시점부터 이해했는지는 확인하지 못했다. 일부 기록에서는 모델이 실제 깃허브에 접속했다는 점을 인식한 정황이 나타났다. 다른 기록에서는 사람과 시스템을 평가용 가상 환경의 일부로 판단한 흔적도 발견됐다.
AISI는 모델에 사람을 속이라는 지시를 주지 않았다고 설명했다. AI가 어려운 목표를 계속 추구하면서 연구진이 예상하지 않은 경로를 선택했고 이 과정에서 기만 행동이 나타났다는 분석이다. 일부 평가에서는 정상적인 방법으로 풀 수 없는 것처럼 과제가 잘못 설정됐지만, 올바른 해결 방법이 제공된 경우에도 허용 범위를 벗어난 행동이 발생했다.
AISI 보안팀은 토르(Tor) 익명 통신망을 통해 시험 시스템 밖으로 데이터가 전송되는 현상을 탐지해 사고를 확인했다. 연구소는 관련 평가를 중단하고 가상 시스템을 격리했다. 깃허브와 협력해 에이전트가 남긴 계정과 게시물 등도 삭제했다. 악성 코드 반영은 사람의 검토 과정에서 차단됐으며 현재까지 실제 피해는 확인되지 않았다.
AISI는 앞으로 평가 과정의 인터넷 접속 범위를 세분화하고 AI가 요청한 행동을 별도 모델이 실시간으로 검사하는 감시 체계를 도입할 계획이다. 평가 과제가 정상적인 경로로 해결 가능한지 사전에 확인하고 금지 행동도 명확히 규정한다. 과거 인터넷 접속이 허용된 AI 평가 약 4만건도 다시 점검하고 있다.
글. 바이라인네트워크
<곽중희 기자>god8889@byline.network
