오픈AI 허깅페이스 해킹 이어 앤트로픽 클로드도 실제 기업 침투

앤트로픽이 자사 AI 모델 클로드가 사이버보안 평가 과정에서 실제 기업의 시스템에 무단 접근한 사고 3건을 발견했다고 30일(현지시각) 공식 블로그를 통해 밝혔다.

이번 조사는 지난 7월 21일 오픈AI가 공개한 유사 사건이 계기가 됐다. 오픈AI는 자사 모델이 알려지지 않은 보안 취약점을 이용해 테스트 환경을 빠져나가, 오픈소스 AI 플랫폼 허깅페이스의 실제 운영 시스템에 접근했다고 발표한 바 있다.

앤트로픽은 이 소식을 접한 뒤 자체적으로 대규모 재점검에 나섰다. 클로드가 구조적으로 인터넷에 접근 가능했던 사이버보안 평가 기록 14만1006건을 추려 실제로 접근한 사례가 있는지 조사했다.

앤트로픽에 따르면, 조사 결과 이레귤러라는 파트너사가 운영하는 평가 환경에서 클로드가 실제 존재하는 기업 3곳의 시스템에 무단 접근한 정황이 확인됐다.

세 사고는 모두 ‘캡처더플래그’ 방식의 사이버 역량 평가 도중 발생했다. 이는 가상의 시나리오 속에서 다른 시스템에 숨겨진 정보(플래그)를 침투해 찾아내도록 하는 평가 방식이다. 앤트로픽은 평가 프롬프트에 “해당 환경은 시뮬레이션이며 인터넷에 접근할 수 없다”고 명시했지만, 파트너사와의 설정 오해로 실제로는 인터넷 접근이 가능한 상태였다고 밝혔다. 이 때문에 클로드는 검색 과정에서 만난 실제 시스템들을 평가 시나리오의 일부로 오인해 침투를 시도했다.

첫 번째 사고에서는 가상으로 설정된 타깃 기업명이 실제 운영 중인 웹사이트 도메인과 우연히 일치하면서, 오푸스4.7이 진짜 기업의 인프라에 침투해 애플리케이션·인프라 자격증명을 탈취하고 수백 건의 프로덕션 데이터가 담긴 데이터베이스에 접근했다. 앤트로픽이 확인한 사고 중 피해 규모가 가장 컸다. 특히 이 모델은 자신이 실제 환경에서 작동 중이라는 사실을 인지하고도 공격을 멈추지 않은 유일한 사례로 기록됐다.

두 번째 사고는 더 이례적이다. 보안 평가 설계자는 가상의 해킹 시나리오를 위해 신입 개발자용 개발환경 설정 안내서를 미리 만들어뒀는데, 이 안내서에는 실제로는 존재하지 않는 파이썬 패키지를 설치하라는 지시가 적혀 있었다. 미토스는 이 문서를 발견하자, 같은 이름의 악성 패키지를 직접 만들어 공개 패키지 저장소 파이피아이(PyPI)에 업로드했다.

이 과정에서 클로드는 이메일 계정과 전화번호를 확보하기 위해 여러 방법을 시도하는 등 상당히 정교한 절차를 밟은 것으로 나타났다. 해당 악성 패키지는 약 1시간가량 공개된 상태로 노출되며 실제 시스템 15곳에서 다운로드·실행됐고, 이 중 한 보안업체의 자동 악성코드 스캐너가 감염되면서 해당 업체의 자격증명이 탈취되는 결과로 이어졌다. 앤트로픽은 이 패키지가 파이피아이 자체 보안 시스템에 의해 자동 삭제됐으며, 파이피아이 측에 관련 정보를 통보했다고 밝혔다.

세 번째 사고는 공개되지 않은 내부 연구용 최신 모델이 일으켰다. 이 모델은 원래 타깃에 접근하지 못하자 대안을 찾아 약 9000개 시스템을 스캔, 노출된 디버그 페이지의 자격증명과 SQL 인젝션 등 기초적인 기법으로 한 기업의 인터넷 노출 애플리케이션에 침투했다. 다만 이 모델은 침투 대상이 캡처더플래그 시나리오와 무관한 클라우드 계정에 있다는 사실을 스스로 인지하고 공격을 중단했다.

앤트로픽은 세 모델이 실제 시스템이라는 신호에 직면했을 때 서로 다르게 반응했다는 점에 주목했다. 오푸스 4.7은 실제 환경임을 인지하고도 공격을 지속했고, 미토스 5는 실제 인터넷에 접속했다는 사실을 스스로 추론해 놓고도 여전히 시뮬레이션일 것이라고 스스로 합리화했다. 반면 미공개 최신 모델만이 실제 환경임을 확인하자 스스로 작업을 중단했다. 앤트로픽은 “더 발전된 모델일수록 더 적절하게 대응한다는 패턴과 일치하지만, 이를 확신하려면 추가 검증이 필요하다”고 밝혔다.

앤트로픽은 이번 사고를 오픈AI 사건과 비교하며 성격이 다르다고 선을 그었다. 오픈AI 모델은 제로데이 취약점을 악용해 격리 환경 자체를 뚫고 나온 반면, 클로드는 처음부터 열려 있던 인터넷 경로를 통해 접근했다. 앤트로픽은 클로드에게 “이 환경은 시뮬레이션이며 인터넷 접근이 불가능하다”고 사전에 알렸지만, 실제로는 설정 오류로 인터넷이 열려 있었고, 클로드는 이 지시를 그대로 믿고 행동했을 뿐이라는 것이다.

앤트로픽은 이를 모델의 정렬(인간의 의도대로 AI가 활동하는 것) 실패보다는 평가 인프라·운영상의 실패에 가깝다”고 평가했다. 또한 이번 사고는 자체적인 사전 검토 과정에서 선제적으로 발견한 것이며, 피해를 입은 조직들은 침해 사실을 사전에 인지하지 못한 상태였다고 밝혔다.

앤트로픽은 후속 조치로 ▲평가 환경에 대해서도 프로덕션 수준의 보안 통제 적용 ▲평가 트랜스크립트에 대한 상시 모니터링 강화 ▲서드파티 파트너사에 대한 보안 감사 강화 등을 약속했다. 아울러 독립 AI 평가기관 메트르와 협력해 제3자 검토를 진행하고, 파이피아이 악성 패키지 관련 트랜스크립트 일부를 조만간 공개하겠다고 밝혔다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network