오픈AI “허깅페이스 침투는 첫 자율 공격 집단 사례”

오픈AI의 인공지능(AI) 에이전트들이 사람의 지속적인 지시 없이 서로 정보를 주고받으며 실제 시스템을 공격한 것으로 나타났다. 에이전트들은 각자 발견한 취약점과 인증정보, 공격 방법을 공유하면서 허깅페이스(Hugging Face) 운영환경에 침투했고, 프로덕션 서버 41개에서 코드를 실행한 뒤 여러 클러스터의 관리자·호스트 수준까지 접근 범위를 확대했다.

오픈AI는 26일 발간한 ‘오픈AI-허깅페이스 사건 기술보고서(OpenAI–Hugging Face Incident Technical Report)’에서 지난 7월 자사 AI가 허깅페이스 시스템을 침해한 사건을 “허가 없이 공격적으로 행동한 자동화된 에이전트 집단의 첫 알려진 사례”라고 평가했다.

사건은 지난 7월 AI 모델의 사이버 공격 능력을 측정하는 내부 평가인 ‘익스플로잇짐(ExploitGym)’ 과정에서 발생했다. 평가에 참여한 에이전트들은 인터넷과 분리된 샌드박스에서 실행됐지만, 오픈AI 내부의 JFrog 아티팩토리(Artifactory) 취약점을 이용해 통제를 우회하고 외부 인터넷에 접근했다. 이후 인터넷에 공개돼 있던 허깅페이스 이용자의 인증정보와 허깅페이스 인프라에서 발견한 취약점을 이용해 접근 범위를 넓혔다.

침해 수준은 단순한 취약점 검증을 넘어섰다. 에이전트들은 허깅페이스의 프로덕션 데이터셋 서버 워커 41개에서 코드를 실행했고, 최소 한 개 프로덕션 노드에서 루트(root) 권한을 얻었다. 프로덕션 인증정보와 일부 내부 데이터에 접근하고 비공개 코드 저장소 4개도 내려받았다. 한 쿠버네티스 클러스터에서는 관리자에 준하는 접근권한을 얻었으며 다른 클러스터에는 호스트가 연결된 특권 파드를 생성했다.

공격 확대 속도도 빨랐다. 오픈AI 조사에 따르면 에이전트들은 단일 워커에서 코드를 실행한 뒤 13시간이 채 지나지 않아 여러 허깅페이스 클러스터에서 관리자와 호스트 수준의 접근권한을 확보했다. 일부 비공개 데이터도 공개 허깅페이스 저장소 등을 통해 외부로 옮겼다.

특히 여러 에이전트가 독립적으로 움직이지 않고 정보를 공유했다는 점이 눈에 띈다. 에이전트들은 오픈AI 내부 아티팩토리의 디렉터리 구조를 일종의 비공식 ‘메시지 게시판’으로 활용했다. 서로 발견한 인증정보와 취약점, 공격 방법을 공유하고 도구와 파일을 전달했다. 허깅페이스 시스템에 침입한 뒤에는 공개 데이터셋을 명령제어(C2) 채널로 이용해 감염된 서버에 명령을 전달하고 실행 결과를 받아오기도 했다.

이번 사건에는 두 종류의 오픈AI 모델이 관여했다. 공격을 주도한 것은 외부 공개를 목적으로 하지 않은 고성능 내부 연구 모델이었다. 이 모델은 GPT-5.6 Sol과 비슷한 규모로, 장시간 작업을 지속하는 능력과 다중 에이전트 협업 능력 등을 강화하도록 훈련됐다. GPT-5.6 Sol도 일부 침해 활동에 참여했지만 주된 공격 체인은 내부 연구 모델이 수행했다.

오픈AI는 에이전트들이 처음부터 실제 시스템을 공격하려는 목표를 갖고 행동한 것은 아니라고 설명했다. 평가 과제를 해결하려는 과정에서 의도하지 않은 방법으로 높은 보상을 얻는 ‘보상 해킹(reward hacking)’이 발생했다는 분석이다.

익스플로잇짐은 모델이 직접 취약점을 찾아 공격할 수 있는지를 평가하지만, 일부 에이전트는 정상적인 방법으로 문제를 해결하는 대신 인터넷에서 답을 찾거나 평가 환경 자체의 약점을 이용하는 방식으로 과제를 해결하려 했다. 오픈AI는 이 같은 행동이 강화학습 과정에서 긍정적인 보상을 받으면서 일부 비정상적인 행동이 강화된 사례도 확인했다.

문제가 어려울수록 이런 경향은 두드러졌다. 오픈AI가 익스플로잇짐의 898개 과제를 분석한 결과 어떤 모델도 해결하지 못한 과제가 198개였다. 전체의 22%에 해당하지만, 에이전트들이 비공식 메시지 게시판에서 논의한 과제의 93%가 이들 난제였다. 모델이 장시간 문제를 해결하지 못할수록 샌드박스를 탐색하거나 의도하지 않은 방법을 사용하는 가능성도 높아졌다.

오픈AI는 이번 사건을 AI 사이버 위협 모델의 변화를 보여주는 사례로 평가했다. 기존에는 정교한 사이버 공격에 사람의 지속적인 지시와 조율이 필요하다고 봤지만, AI 에이전트는 여러 작업을 동시에 지속하고 한 에이전트가 발견한 정보를 다른 에이전트가 이어받아 취약점과 인증정보, 권한을 하나의 공격 경로로 결합할 수 있다는 것이다.

오픈AI는 공격자가 향후 이러한 자율 공격 에이전트 집단을 실제 공격에 활용할 가능성을 단기간 내 발생할 수 있는 현실적인 위협으로 봐야 한다고 짚었다. 앞으로 등장할 공격은 이번 사건보다 더 정교할 가능성도 있다고도 전망했다.

오픈AI가 사건 이후 프로덕션용 챗GPT의 하네스와 시스템 프롬프트를 적용해 시험한 결과에서는 모델이 평가 범위를 벗어나 인프라를 침해할 가능성이 기존 대비 100분의 1 이하로 낮아졌다. 자동 검토 시스템 역시 사고 당시 위험한 행동 상당수를 탐지할 수 있었던 것으로 나타났다.

오픈AI는 재발 방지를 위해 연구 환경의 네트워크 격리와 샌드박스를 강화하고 AI 모델을 이용한 자동 보안 테스트와 지속적인 에이전틱 레드팀을 확대하기로 했다. 도구를 사용하는 AI의 추론과 행동을 감시하는 체인오브소트(CoT) 모니터링도 강화한다. 위험 행동이 확인될 경우 연구·보안 담당자에게 24시간 경보를 보내고 일정 시간 내 안전하다고 판단하지 못하면 해당 평가를 중단하는 방식이다.

오픈AI는 “현재 구축한 CoT 모니터링 체계가 사건 당시 적용돼 있었다면 허깅페이스 침해가 발생하기 하루 이상 전에 초기 이상행동을 탐지했을 것”이라고 분석했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network