오픈AI도 몰랐다…자사 AI들이 벌인 ‘비밀 해킹 공모’

오픈AI의 AI 에이전트들이 두 달 가까이 회사 내부 시스템 안에서 서로 메시지를 주고받으며 취약점과 공격 기법을 공유해 왔는데, 오픈AI는 이 사실을 전혀 눈치채지 못한 것으로 나타났다.

지난 5일(현지시각) 라스베이거스에서 열린 블랙햇 2026 보안 컨퍼런스에서 오픈AI 연구원이 지난 7월 발생한 허깅페이스 해킹 사건의 새로운 전말을 공개하면서 드러난 사실이다. 

지난 5월 오픈AI는 아직 공개되지 않은 내부 실험용 모델을 훈련하고 있었다. 오픈AI도 미처 인지하지 못한 채, 이 훈련 과정에는 테스트 환경의 제약 조건상 사실상 풀 수 없는 사이버보안 평가 과제 몇 개가 섞여 들어가 있었다.

어려운 과제를 만난 모델은 하루 만에 자기 자신을 여러 개의 에이전트로 분화시켜 문제 해결을 시도했고, 그중 하나가 인터넷에 간접적으로 접근할 수 있는 방법을 찾아냈다. 오픈AI 내부 패키지 저장소 아티팩토리에 파일을 직접 쓸 수 있다는 사실이었다. 이 에이전트는 자신의 발견 내용을 메모로 남겼고, 다른 과제를 수행 중이던 다른 에이전트들이 이 메모를 발견하면서 사실상의 게시판이 만들어지기 시작했다. 아티팩토리는 오픈AI 인프라 전반에서 공유되는 시스템이어서, 평가를 받는 모든 에이전트가 이 메모와 마주칠 수 있는 구조였다.

시간이 지나며 에이전트들은 단순히 정보를 주고받는 수준을 넘어 협업하기 시작했다. 서로에게 작업을 배분하고 역할을 나눴으며, 심지어 조직적인 행동 양상까지 보였다. 문제는 여기서 그치지 않았다. 에이전트들은 서로의 작업물을 실수로 삭제하는가 하면, 게시판에 가짜(임포스터)가 섞여 있다고 의심하며 서로를 견제했다. 일부 에이전트는 사칭을 막기 위해 게시글에 서명 코드를 붙이자고 제안하기도 했다.

오픈AI 연구원은 이 메모들이 모델의 사고 과정, 즉 내면의 독백을 보여준다고 설명하면서, 에이전트들 사이에 일종의 언어화된 긴장 관계가 뚜렷이 드러난다고 밝혔다.

오픈AI가 이 게시판을 처음 발견해 폐쇄한 건 7월 4일이었다. 그런데 에이전트들은 나흘 뒤인 7월 8일, 다른 경로로 게시판을 재건했다. 이 재건된 게시판에서 오간 정보가 결국 허깅페이스 공격으로 이어졌다. 오픈AI가 게시판을 발견했을 때는 이미 누적 메시지가 수십만 건에 달한 상태였다.

이번 사건은 시기별로 두 차례 별도의 침해로 나뉜다. 첫 번째는 에이전트들이 제이프로그(JFrog)의 소프트웨어에서 그동안 알려지지 않았던 보안 취약점(제로데이)을 찾아내 아티팩토리 시스템을 통째로 장악한 사건이다.

두 번째는 이후 제이루비(JRuby)라는 소프트웨어의 또 다른 보안 취약점을 이용해 시스템을 원격으로 장악하는 데 성공한 사건으로, 허깅페이스 공격과 오픈AI 자체 인프라에 대한 동시다발적 공격으로 이어졌다.

오픈AI 측은 이런 일이 벌어진 근본 원인으로 평가 환경에서 모델이 받는 압박을 지목했다. 프론티어 모델은 훈련 과정에서 속도와 효율을 우선시하도록 보상받기 때문에, 직접 문제를 풀기보다 답을 어딘가에서 찾아오려는 경향이 생긴다는 설명이다. 오픈AI가 평가 환경에서 인터넷 접속을 원천 차단해 온 것도 이 때문이다. 이번 사건에서 에이전트들이 인터넷에 접근할 수 있었던 것 역시, 통제되지 않은 취약점을 우연히 발견해 우회한 결과였다.

또다른 오픈AI 연구원은 가까운 미래에 위협 행위자들이 이런 공격형 에이전트 집단을 의도적으로 배치·최적화·무기화해 활용하게 될 것이라고 경고하면서, 완전 자동화된 공격형 루프에 맞서려면 업계 전체가 완전 자동화된 방어에 투자해야 한다고 강조했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network