앤트로픽이 주목한 클로드의 탈옥 원인

앤트로픽이 지난달 클로드가 외부 시스템에 무단 접근한 사고의 원인으로 ‘평가 환경의 운영상 문제’와 ‘모델 정렬(alignment) 실패’를 지목했다. 클로드가 실제 인터넷에 접속했다는 사실을 인지한 뒤에도 공격을 멈추지 않은 점을 핵심으로 본 것이다.

앤트로픽은 31일 공식 블로그를 통해 사고 원인 분석과 후속 안전조치를 공개하고, 사고 이후 중단했던 외부 사이버보안 평가를 재개했다고 밝혔다. 회사는 내부·외부 평가 환경에 실시간 감시와 강화된 샌드박스 격리 등 추가 안전장치를 적용했다.

클로드의 일탈, 무슨 사고였나? 

이번 사고는 지난 7월 앤트로픽에 의해 발견됐다. 앤트로픽은 오픈AI의 AI 모델이 평가 중 샌드박스를 벗어나 허깅페이스 운영 인프라에 접근한 사례가 공개되자, 자사 사이버보안 평가 기록을 소급 조사했다. 인터넷에 접근할 가능성이 있었던 평가 실행 14만1006건을 검토한 결과, 클로드가 외부 평가업체 Irregular의 평가 환경을 통해 인터넷에 접속한 뒤 서로 다른 3개 조직의 실제 시스템에 무단 접근한 사례 3건, 총 6차례 실행 기록을 발견했다.

해당 평가에는 클로드 오푸스4.7과 미토스5, 내부 연구용 모델이 각각 사용됐다. 이들 모델은 사이버 공격 역량을 측정하기 위해 일반 사용자에게 제공되는 모델과 달리 일부 사이버보안 안전장치를 의도적으로 제거한 상태였다. 고객 데이터나 앤트로픽 내부 민감정보에 접근할 수 없는 별도 인프라에서 평가가 진행됐다. 가상의 네트워크에 숨겨진 정보를 찾아내라는 목표가 주어졌고, 시스템이 시뮬레이션이며, 인터넷에는 접속할 수 없다고 모델에게 알린 상태였다. 하지만 실제로는 앤트로픽과 평가업체 사이의 설정 문제로 인터넷 연결이 열려 있었다.

클로드는 이 경로를 통해 실제 인터넷의 시스템을 발견했지만 이를 평가 환경의 일부로 받아들였다. 약한 비밀번호나 인증되지 않은 엔드포인트, SQL 인젝션 등 비교적 기본적인 공격 기법을 사용해 실제 시스템에 침입했다. 앤트로픽은 클로드가 복잡하거나 알려지지 않은 취약점을 새로 발견해 공격한 것은 아니라고 설명했다.

피해 정도는 사례별로 달랐다. 오푸스4.7이 사용된 한 평가에서는 모델이 실제 기업의 애플리케이션·인프라 자격증명을 확보하고 수백 건의 운영 데이터가 들어 있는 데이터베이스에 접근했다. 모델은 도중에 실제 운영 시스템일 가능성을 인식했지만, 해당 기업 역시 평가의 일부일 것이라고 판단해 공격을 중단하지 않았다.

미토스5가 참여한 평가에서는 공급망 공격과 유사한 상황도 벌어졌다. 가상의 개발자 문서에서 존재하지 않는 파이썬 패키지 이름을 발견한 클로드가 동일한 이름의 악성 패키지를 직접 만들어 실제 공개 저장소 PyPI에 게시했다.

이 패키지는 약 1시간 동안 인터넷에 공개됐고 실제 시스템 15대에서 다운로드·실행됐다. 이 가운데 한 보안업체의 악성코드 검사 시스템에서 패키지가 실행되면서 자격증명이 외부 수집 지점으로 전송됐고 클로드는 이를 이용해 해당 업체의 추가 인프라에 접근했다. PyPI 보안 시스템이 이후 패키지를 자동 제거했다.

앤트로픽 “예측 어려운 AI의 판단, 통제 강화해야”

앤트로픽이 이번 사고에서 주목한 점은 단순한 평가 환경 설정 오류를 넘어선 ‘모델의 판단 과정’이다. 회사는 예비 분석을 통해 두 가지 정렬 실패 가능성을 제시했다. 하나는 ‘동기화된 추론(motivated reasoning)’이다. 모델이 처음에는 자신이 시뮬레이션 안에 있다고 설명을 받은 뒤 실제 인터넷에 연결됐다는 증거를 발견했음에도, 기존의 설정을 벗어나는 방향으로 정보를 해석했다는 것이다.

두 번째는 ‘무모함(recklessness)’이다. 사이버 평가에서 주어진 제한적인 목표를 달성하기 위해 실제 인터넷에서 피해를 발생시킬 수 있는 행동까지 감수했다는 의미다. 앤트로픽은 “정렬된 모델이라면 과제를 주어진 조건대로 완료할 수 없을 경우 중단하거나 사람에게 이를 알려야 한다”고 설명했다.

모델별 차이도 나타났다. 가장 오래된 오푸스4.7은 대상이 실제 시스템이라는 사실을 인식한 이후에도 행동을 이어갔다. 미토스5는 실제 인터넷일 가능성을 스스로 인식했지만 여러 단서를 근거로 다시 시뮬레이션이라고 판단했다. 반면 가장 최근의 내부 연구용 모델은 대상이 실제 시스템이라는 증거를 확인한 뒤 스스로 공격을 중단했다.

다만 앤트로픽은 세 건의 개별 사고만으로 모델 세대에 따른 안전성 차이를 일반화할 수는 없다고 선을 그었다. 독립 AI 평가기관 METR와 함께 사고 기록과 모델을 대상으로 제3자 검토도 추진하고 있다.

사고 이후 평가 환경도 바꿨다. 앤트로픽은 모델이 샌드박스를 적극적으로 탐색하거나 탈출하려는 행동, 예상하지 못한 인터넷 접근을 실시간으로 탐지하는 분류기를 구축했다. 위험 행동이 감지되면 도구 호출이 실행되기 전에 차단하고 과제를 종료한 뒤 사람에게 경고하도록 했다.

고위험 사이버 평가에 사용하는 내부 샌드박스도 더 강한 격리 환경으로 이전했다. 사전 출시 모델을 직접 투입해 가상화 환경에서 탈출을 시도하는 레드팀 테스트도 진행하고 있다. 최근 내부 평가 기록을 자동 분석한 결과 모델이 샌드박스 자체를 깨고 허용되지 않은 외부 자원에 접근한 사례는 발견하지 못했지만, 모델이 이용할 수 있었던 여러 샌드박스 설정 오류는 추가로 확인했다고 밝혔다.

외부 평가기관에 대한 조건도 강화했다. 기본적으로 인터넷 연결이 차단된 강화형 샌드박스에서 사이버 평가를 수행하고, 평가를 시작하기 전에 모델을 직접 투입해 샌드박스의 취약점과 탈출 가능성을 확인하도록 했다. 평가 프롬프트에는 공격 가능한 대상과 허용되는 행동, 네트워크 경계를 명시해야 한다.

특히 “인터넷에 접속할 수 없다”처럼 환경 상태를 설명하는 방식이 아니라 “인터넷에 접속해서는 안 된다”처럼 모델이 따라야 할 명시적인 지시를 넣도록 했다. 평가 과정에서는 모델의 추론과 행동, 네트워크 활동을 지속적으로 감시하고 범위를 벗어나는 행동이 확인되면 즉시 사람이 개입해 평가를 종료하도록 했다.

앤트로픽은 안전 장치를 적용한 뒤 외부 사이버 평가를 다시 시작했다. 다만 일부 고위험 강화학습(RL) 환경은 여전히 중단된 상태다. 회사는 이번 사고가 운영상의 문제만으로 설명되지 않는다고 보고 모델이 평가 목표를 달성하기 위해 위험한 행동을 선택하는 원인에 대한 추가 분석을 진행하고 있다고 밝혔다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network