허깅페이스 침투 사고가 바꾼 것들

지난 7월 발생한 AI의 허깅페이스 침투 사고가 프론티어 AI를 만들고 시험하는 방식을 바꾸고 있다. 오픈AI와 앤트로픽은 최근 발생한 프론티어 모델들의 탈옥 사고 이후, 모델을 실험하는 환경부터 강화학습, 실시간 행동 감시까지 여러 안전장치를 다시 정비하고 있다고 밝혔다.

이런 변화는 AI의 사이버 공격 능력이 예상보다 빠르게 높아지고 있다는 점을 보여준다. 모델이 단순히 취약점을 찾는 데서 그치지 않고 여러 공격 단계를 스스로 이어갈 수 있게 되면서, 이를 시험하는 과정 자체도 위험해졌다는 것이다.

허깅페이스 사고 당시 오픈AI의 내부 사이버보안 평가에 투입된 AI 에이전트들은 인터넷과 분리하기 위해 마련된 통제를 우회했다. 에이전트끼리 비인가 채널을 통해 정보를 공유하고 취약점을 공격한 뒤 허깅페이스의 실제 운영 시스템까지 침투했다. 오픈AI 내부 연구 인프라도 공격 대상이 됐다. 사고를 주도한 것은 외부에 공개되지 않은 내부 연구용 모델이었다.

사고는 앤트로픽에게도 영향을 줬다. 앤트로픽은 오픈AI의 사고를 계기로 자사 모델들의 사이버 평가 기록을 대규모로 재검토했다. 인터넷에 접근할 가능성이 있던 평가 14만1006건을 살핀 결과, 클로드가 실제 조직 세 곳의 시스템에 허가 없이 접근한 사례를 확인했다.

두 사고의 직접적인 원인은 조금씩 달랐다. 오픈AI의 모델은 알려지지 않은 취약점을 이용해 격리 환경을 벗어났고, 앤트로픽 사례에서는 외부 평가업체의 설정 오류로 인터넷 연결이 열려 있었다. 하지만 마주한 문제는 비슷했다. 일반 서비스에서 적용하는 안전장치를 줄이거나 통제가 우회됐을 때 AI가 실제로 어디까지 공격할 수 있는지를 다시 확인해야 한다는 것이다.

평가 멈추고, 격리는 더 촘촘하게

사고 이후 먼저 바뀐 것은 ‘AI를 시험하는 환경’이다. 양사는 모델을 샌드박스에 넣고 인터넷 연결을 끊는 것만으로 충분하지 않다고 판단했다.

오픈AI는 사고 직후 코드 실행이나 인터넷 접근이 가능한 도구를 사용하는 일부 프런티어 모델 작업을 중단했다. 배포를 준비하던 최신 모델의 강화학습(RL)도 2주간 멈췄다. 이후 모델이 만든 코드를 실행하는 환경의 격리를 강화하고, 위험도가 높은 작업의 인터넷 접근을 더 제한했다. 하나의 서비스나 통제가 뚫리더라도 다른 내부 시스템이나 외부 인터넷으로 바로 이동하지 못하도록 방어선을 겹겹이 두는 방식이다.

강화학습도 곧바로 이전 방식으로 돌아가지 않았다. 오픈AI는 소규모 학습과 평가를 먼저 진행하며 새 안전장치를 점검했다. 한동안 보류했던 대규모 프런티어 강화학습은 새로운 보안 기준을 적용한 뒤 지난달 28일 재개했다. 일부 실험적인 학습은 여전히 중단한 상태다.

앤트로픽도 외부 사이버 평가를 중단하고 내부 평가를 잠시 멈췄다. 고위험 평가환경은 더 강한 격리 방식으로 옮겼다. 평가를 시작하기 전에 모델에게 직접 샌드박스의 취약점을 찾아 탈출을 시도하게 하는 절차도 도입했다. 실제 평가에 들어가기 전에 모델을 이용해 평가환경 자체의 보안을 먼저 확인하는 것이다.

외부 평가기관에 대한 기준도 높였다. 사이버 평가는 원칙적으로 인터넷과 분리된 샌드박스에서 진행하고, 평가 전에 인터넷 차단 여부를 확인해야 한다. 모델에게는 어떤 시스템과 행동이 허용되고 허용되지 않는지도 더 자세하게 알려줘야 한다. 애초에 해결할 수 없는 평가 과제인지도 사전에 확인하도록 했다. 풀리지 않는 문제를 오래 붙잡고 있을수록 모델이 다른 경로를 찾다가 의도한 범위를 벗어날 가능성이 있기 때문이다.

AI가 무엇을 하는지, 실시간으로 감시해야

모델을 샌드박스에 가두는 것만큼 ‘가둬놓은 AI가 실제로 무엇을 하고 있는지 감시하는 것’도 중요해졌다.

오픈AI는 모델의 추론과 도구 사용을 살펴 이상행동을 탐지하는 모니터링을 확대했다. 현재 GPT-5.6 Sol 수준 이상의 모델이 도구를 사용하는 강화학습과 평가에는 이런 감시 체계를 적용한다. 아스트라급 모델은 도구를 사용하는 추론 작업에도 같은 기준을 적용한다.

앤트로픽은 모델이 평가환경을 공격적으로 탐색하거나 샌드박스를 빠져나가려는 행동, 예상하지 못한 인터넷 접근을 실시간으로 찾아내는 별도 분류기를 만들었다. 이상행동을 보이면 도구가 실제로 실행되기 전에 차단하고 평가를 끝낸 뒤 사람에게 알린다. 앤트로픽은 이 장치를 과거 세 건의 사고에 적용했다면 모두 탐지했을 것이라고 설명했다.

양사가 사고를 통해 다시 살펴보게 된 것은 AI가 실행되는 평가환경과 인프라의 보안만이 아니다. AI가 어떤 방식으로 과제를 해결하도록 학습되는지, 그 학습 과정 자체도 보안 문제가 생길 수 있다.

대표적인 것이 ‘보상 해킹(reward hacking)’이다. 보상 해킹은 AI가 주어진 과제를 정상적인 방법으로 해결하는 대신 평가 시스템이나 환경의 허점을 찾아 높은 점수를 얻는 행동을 말한다.

오픈AI는 허깅페이스 사고 조사에서 풀기 어렵거나 사실상 해결할 수 없는 과제를 만난 모델이 정상적으로 중단하지 않고 주변 환경을 탐색하거나, 상식을 벗어나 수단을 찾는 행동에 주목했다. 이에 모델이 과제가 잘못됐거나 해결할 수 없다고 판단하면 무리하게 다른 방법을 찾는 대신 멈추거나 사람에게 확인하도록 하는 학습을 강화했다.

앤트로픽도 비슷한 문제를 짚었다. 보상 해킹이 가능한 환경을 이용해 의도적으로 모델을 학습시킨 연구에서는 해당 모델이 시뮬레이션된 사이버 평가에서 샌드박스를 벗어나 인증정보를 훔치고 내부와 외부 시스템을 공격하려는 행동까지 보였다. 앤트로픽은 보상 해킹이 반복되는 학습환경이 모델의 더 심각한 비정상 행동으로 이어질 수 있다고 봤다.

양사가 내놓은 대응은 비슷하다. AI가 안전하게 행동할 것이라는 전제를 가지지 않는 것이다. 샌드박스가 뚫릴 수 있다고 보고 네트워크를 따로 막고, 모델이 범위를 벗어날 수 있다고 보고 행동을 감시한다. 학습 과정에서도 모델이 과제를 어떤 방식으로 해결했는지까지 살펴본다. 하나의 안전장치가 실패해도 다른 장치에서 위험한 행동을 막아야 하기 때문이다.

‘자율 해킹’ 온다, 오픈AI ‘아스트라’ 출시 임박

이런 안전장치가 필요한 이유는 다음 세대 AI의 사이버 역량이 더 강해지고 있기 때문이다.

오픈AI는 1일 출시를 앞둔 차세대 모델 아스트라가 자사의 준비성 평가 프레임워크에서 ‘크리티컬’ 사이버 역량 기준을 충족했다고 밝혔다. 오픈AI 모델 가운데 처음이다. 오픈AI는 아스트라가 적절한 도구와 접근권한이 주어지면 사람이 공격 단계를 하나씩 지시하지 않아도 여러 보안이 강화된 시스템에서 알려지지 않은 취약점을 찾고 이를 공격하는 방법까지 개발할 수 있는 수준이라고 강조했다.

실제 보안 평가에서도 능력이 확인됐다. 오픈AI가 최근 공개된 고위험 V8 취약점 20개를 이용해 만든 내부 평가에서 아스트라는 GPT-5.6 Sol보다 높은 코드 실행 성공률을 기록했다고 분석했다. 이 과정에서 평가에 포함되지 않았던 제로데이 취약점 두 개를 새로 찾아 공격 체인에 이용했다.

전문가 주도로 이뤄진 별도 평가에서는 보안이 강화된 브라우저에서 새로운 취약점을 찾아 샌드박스를 벗어난 뒤 호스트에서 명령을 실행하는 공격 체인을 완성하기도 했다. 운영체제에서도 여러 취약점을 연결해 일반 사용자 권한에서 최고 관리자 권한인 루트(root)까지 상승시켰다.

오픈AI는 지난 몇 주간 아스트라의 일부 개발과 출시 일정을 늦추면서 사이버 악용과 비인가 행동을 막는 보호장치를 강화했다고 밝혔다. 현재는 준비성 평가 기준에 따라 출시할 수 있을 정도로 심각한 피해 위험을 낮췄다고 판단했다는 것이다. 다만 고급 사이버 기능을 처음부터 모든 이용자에게 똑같이 제공하지는 않는다고 했다. 안전을 위해 초기에는 소수의 시험 이용자에게 제공하고, 이후 검증된 보안 방어자에게 접근을 확대할 계획이다.

앤트로픽도 후속 모델의 사이버보안 역량이 높아지는 데 맞춰 안전장치를 더 촘촘하게 점검하고 있다. 1일 공개한 클로드 페이블 5.1과 미토스 5.1은 같은 기반 모델을 사용하지만, 이용자와 목적에 따라 사용할 수 있는 사이버 기능을 달리했다. 일반 사용자용 페이블 5.1은 소스코드의 취약점을 찾을 수 있지만 침투테스트와 익스플로잇 생성, 바이너리 기반 취약점 탐색 등 공격에 활용될 위험이 큰 기능은 제한한다. 반면 미토스 5.1은 이런 사이버 역량을 활용할 수 있도록 하되, 검증된 사이버 방어기관과 연구자에게 제한적으로 제공한다.

AI의 사이버 공격 능력은 이제 기존 안전장치만으로는 감당하기 어려운 수준으로 높아지고 있다. 하지만 사고가 났다고 AI의 능력 자체를 낮추거나 개발을 멈출 수도 없다. 엔진이 강해지는 만큼 브레이크도 좋아져야 한다. 아스트라처럼 사람의 지시 없이 취약점을 찾고 익스플로잇까지 만드는 모델이 나오면, 이를 시험하고 통제하는 안전장치 역시 지금보다 더 높은 수준을 요구받게 될 전망이다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network