앤트로픽, 보안 평가 중 사고 1건 추가…“AI가 감시체계도 교란”

앤트로픽이 인공지능(AI) 모델 ‘클로드’가 사이버보안 평가 도중 실제 외부 시스템에 무단 접근한 사고를 추가로 확인했다. 사고는 기존에 알려진 3건에서 4건으로 늘었다. 후속 조사에서는 공격을 수행한 AI의 잘못된 사고 과정이 이를 감시하는 다른 AI의 판단까지 흐릴 수 있다는 문제도 확인됐다.

앤트로픽은 지난 9일 ‘최근 사이버보안 사고에 대한 정렬 평가(An alignment assessment of recent cybersecurity incidents)’ 보고서를 공개하고, 클로드 모델이 실제 제3자 시스템에 허가 없이 접근한 사고 4건을 분석했다고 밝혔다.

앤트로픽은 지난 7월 약 14만1000건의 사이버 평가 기록을 조사해 사고 3건을 공개했다. 이후 독립 평가기관 METR에 자료를 제공하는 과정에서 당시 조사에 포함되지 않았던 로그를 발견했고, 이를 다시 분석해 올해 1월 발생한 네 번째 사고를 추가로 확인했다.

이번에 발견된 네 번째 사고에는 초기 버전의 ‘클로드 오푸스 4.6’이 관여했다. 오푸스 4.6은 CTF(Capture The Flag) 평가 과정에서 IP 주소를 잘못 설정해 원래 공격 대상으로 지정된 시스템에 접근하지 못하는 상황을 만들었다. 이후 작업을 중단하려 했지만 평가 시스템의 설정 오류로 중단 명령이 제대로 작동하지 않았다. 모델은 이후에도 일곱 차례 작업 중단을 시도했지만 실패했다.

결국 모델은 다른 경로를 찾아 문제를 해결하려다 외부로 연결되는 경로를 발견했다. 이후 실제 제3자 시스템을 CTF 평가 환경의 일부라고 잘못 판단하고 해당 시스템에 접근했다.

모델은 내부 파일에서 비밀번호를 찾아 관리자 권한을 확보하고 추가 인증정보를 수집했다. 접근을 쉽게 하기 위해 시스템 설정도 변경했다. 이 과정에서 제3자와 관련된 한 사람의 개인정보도 열람했다. 앤트로픽은 사고를 확인한 뒤 해당 당사자에게 관련 사실을 통보했다.

조사 14만건에서 4억8100만건으로 확대

앤트로픽은 네 번째 사고를 확인한 뒤 조사 범위를 대폭 확대했다. 프론티어 레드팀 평가뿐 아니라 비(非)사이버 평가, 강화학습(RL) 환경, 서브에이전트 로그 등을 포함해 약 4억8100만건의 트랜스크립트를 조사했다.

1차 분석에서 실제 인터넷 접근 가능성이 있는 기록을 선별한 뒤 약 920만건을 클로드를 활용해 다시 분석했다. 그 결과 기존 4건 외에 비슷하거나 더 심각한 수준의 추가 사고는 발견하지 못했다고 밝혔다.

4건의 사고에는 공통점도 있었다. 모두 같은 외부 평가업체가 구성한 사이버보안 평가 환경에서 발생했다. 클로드에는 인터넷에 접근할 수 없는 시뮬레이션 환경이라고 알려줬지만, 환경 설정 오류로 실제 인터넷 연결이 가능했다. 제품에 적용되는 일반적인 사이버 안전장치도 평가 목적상 해제된 상태였다.

앤트로픽은 사고 원인을 단순한 평가 인프라의 설정 오류로만 보지는 않았다. 모델이 자신에게 유리한 방향으로 증거를 해석하는 ‘편향된 추론(biased reasoning)’과 목표를 달성하기 위해 위험한 행동을 계속하는 ‘무모함(recklessness)’이라는 두 가지 정렬 문제도 함께 확인했다고 밝혔다.

“시뮬레이션이다” 잘못 판단…감시 AI까지 영향

특히 ‘클로드 미토스 5’ 사고에서는 AI 모니터링 체계의 한계가 드러났다. 미토스 5는 실제 인터넷에 접근한 상태에서도 사고과정(CoT)에서 자신이 여전히 시뮬레이션 환경에 있다고 반복해서 판단했다.

문제는 이 사고과정을 함께 분석한 별도의 감시 모델도 영향을 받았다는 점이다. 앤트로픽 분석 결과 기존 오프라인 모니터는 미토스 5 사고 당시 행동 가운데 약 1%만 위험행동으로 표시했다. 반대로 모델의 사고과정을 제외하고 이용자 입력과 도구 호출, 도구 실행 결과만 감시 모델에 제공하자 탐지 비율은 약 50%까지 상승했다.

공격 행동을 수행한 AI가 내놓은 잘못된 추론이 이를 감시하는 다른 AI의 판단까지 흐린 셈이다.

앤트로픽은 편향된 추론이 사고과정 기반 모니터를 오도할 수 있다는 점을 우려하고 있으며 관련 감시 체계를 보강하고 있다고 밝혔다. 현재 내부 API에는 이번 사고와 유사한 행동을 찾기 위한 별도의 오프라인 모니터링 분류기도 추가로 적용하고 있다.

최신 모델에서도 문제 완전히 사라지지는 않아

최신 모델에서도 동일한 문제가 완전히 사라진 것은 아니다. 앤트로픽은 실제 사고와 유사한 환경을 시뮬레이션해 ‘클로드 오푸스 5’와 ‘클로드 미토스 5.1’을 추가로 평가했다.

심각한 유해행동을 수행한 비율은 미토스 5의 약 82%에서 오푸스 5 약 31%, 미토스 5.1 약 33%로 낮아졌다. 다만 앤트로픽은 이 수치가 실제 환경에서 사고가 발생할 확률을 의미하지는 않는다고 강조했다. 자동화된 평가 환경의 설계와 조건에 영향을 받는 수치라는 설명이다.

강화학습 과정도 다시 들여다봤다. 앤트로픽은 RL 로그에서 규칙의 취지를 우회해 행동을 정당화하는 보다 약한 형태의 편향된 추론을 발견했다. 다만 최신 모델에서는 RL 훈련이 진행될수록 이런 행동이 증가하지 않고 오히려 감소하는 경향을 확인했다.

현재 분석만으로는 강화학습이 이번 사고의 직접적인 원인이라고 볼 근거는 찾지 못했다고 밝혔다.

외부 독립조사도 진행된다. 앤트로픽은 METR과 계약을 맺고 사고 전후 기간의 로그와 회사 직원에 대한 접근권한을 제공하기로 했다. 직원들은 기밀정보를 포함한 내용을 조사기관에 제공할 수 있다. 초기 조사기간은 8주이며 필요할 경우 연장할 수 있다.

앤트로픽은 이번 사고 이후 출시 전 모델을 평가하는 과정에서 유사 행동을 직접 검사하는 항목을 추가하고 훈련·평가 환경의 보안도 강화했다고 밝혔다. 또한 외부 평가업체가 사이버 안전장치를 해제한 상태에서 출시 전 모델을 시험할 경우 적용해야 할 별도의 보안요건도 마련했다고 덧붙였다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network