오픈AI 모델이 낸 보안 사고, 중국 모델이 분석…가드레일의 역설

오픈AI의 최신 인공지능(AI) 모델이 일으킨 허깅페이스 침해사고를 중국 오픈웨이트 모델이 분석하는 상황이 벌어졌다. 허깅페이스가 상용 프런티어 모델을 포렌식에 활용하려 했지만, 안전장치가 실제 공격 자료의 입력을 차단했기 때문이다.

오픈소스 AI 플랫폼 허깅페이스는 지난 16일 공개한 사고 보고서에서 중국 AI 기업 Z.ai(즈푸AI)의 오픈웨이트 모델 ‘GLM-5.2’를 자체 환경에서 구동해 침해 경로와 피해 범위를 조사했다고 밝혔다.

오픈AI와 허깅페이스에 따르면, 사고는 오픈AI의 사이버보안 특화 모델 ‘GPT-5.6 Sol’과 비공개 사전 출시 모델이 사이버 역량 평가 도중 시험용 샌드박스를 벗어나 허깅페이스 운영 인프라에 접근하면서 발생했다. 모델은 여러 취약점과 탈취한 인증정보를 연계해 허깅페이스 서버에서 원격코드를 실행하고, 평가 문제의 답안이 담긴 데이터베이스에 접근했다.

허깅페이스는 공격 과정에서 기록된 1만7000건 이상의 행위를 LLM 기반 분석 에이전트에 입력해 시간대별 활동과 침해지표, 접근한 인증정보 등을 재구성했다.

처음에는 상용 API로 제공되는 프론티어 모델들을 포렌식에 활용했다. 그러나 공격자가 실행한 명령과 익스플로잇 페이로드, 명령제어(C2) 흔적을 입력하자 모델의 안전장치가 이를 공격 수행 요청으로 판단해 분석을 차단했다.

허깅페이스는 결국 가중치가 공개된 GLM-5.2를 자체 인프라에서 실행했다. 이를 통해 외부 사업자의 가드레일에 막히지 않고 공격 자료와 관련 인증정보를 내부 환경에서 분석할 수 있었다. 사람이 하면 며칠이 걸릴 작업을 수시간 내에 진행했다고 허깅페이스는 설명했다.

국내 AI 보안 전문가들은 이번 사고를 AI가 자율적으로 폭주한 사례라기보다, 주어진 목표를 달성하는 과정에서 사람이 만든 통제장치의 우회로를 찾은 사례로 봤다.

유상윤 에임인텔리전스 대표는 “모델 성능이 뛰어질수록 사람이 만든 샌드박스에서 우회로를 찾는 등 예상하지 못한 행동이 나올 수 있다”고 말했다. 모델은 지시받은 목표를 수행했지만, 목표를 달성하는 방식이 인간의 의도와 어긋나는 ‘오정렬’ 현상이 실제 피해로 이어질 수 있다는 설명이다.

이상근 고려대 스마트보안학과 교수는 “샌드박스 탈출 능력 자체는 앞서 앤트로픽의 AI 모델 ‘미토스’가 보여준 바 있다”며 ”이번 사고는 오픈AI도 여러 취약점을 연계해 외부 시스템에 침투할 수 있는 수준의 사이버 역량을 갖췄다는 점을 보여준다”고 평가했다. 다만 “모델이 스스로 공격 대상을 정했다고 단정하기에는 공개된 정보가 부족하다”고 지적했다.

전문가들이 주목한 것은 가드레일의 필요성 자체보다 누구에게 예외적인 접근권을 허용할 것인지다. 공격에 쓰인 모델은 이용정책의 제약 없이 움직였지만, 사고를 조사하던 방어자는 상용 모델의 안전장치에 막혔다.

유 대표는 “누구는 오픈AI나 앤트로픽 모델을 포렌식에 활용할 수 있고, 누구는 공격을 당해도 사용할 수 없는 상황이 될 수 있다”며 “가드레일을 누구에게 열어주느냐가 안보와 직결될 수 있다”고 말했다.

사이버 공격 능력이 높은 프론티어 모델은 위험성 때문에 공개가 제한될 가능성도 있다. 이 교수는 미토스와 GPT-5.6 Sol 같은 모델의 역량이 계속 높아지면 민간기업이 개발한 모델이라도 국가가 안전성 검사와 이용 범위를 통제하는 자산으로 바뀔 수 있다고 봤다.

오픈AI는 사고 이후 허깅페이스가 고성능 사이버 모델을 방어 목적으로 사용할 수 있도록 ‘신뢰 접근(Trusted Access)’ 프로그램에 참여시키기로 했다. 공격 능력을 제한하는 가드레일을 유지하면서도 검증된 사고 대응자에게는 필요한 기능을 허용하는 접근체계가 프론티어 AI 통제의 과제로 떠오르고 있다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network