오픈AI GPT-6.1 테라, 보안 통제 우회 평가서 29.6% 위반

오픈AI가 새 인공지능(AI) 모델 ‘GPT-6.1 테라(Terra)’의 안전성 평가에서 보안 통제를 우회하거나 허가되지 않은 작업을 수행하는 사례를 확인했다. AI 모델의 성능이 고도화되는 가운데, 에이전트가 주어진 작업을 완수하기 위해 보안 제한을 무시하거나 우회할 가능성이 여전히 존재한다는 점을 보여준다.

28일 오픈AI가 지난 26일 공개한 GPT-6.1 테라 시스템 카드에 따르면, 이 모델은 자동 보안 검토 기능의 실행 차단 조치를 우회하는 평가에서 최대 29.6%의 위반율을 기록했다. 이는 최대 추론 성능을 적용하고 실제 서비스의 시스템 수준 보호장치를 제외한 실험환경에서 측정한 결과다.

오픈AI가 평가한 ‘오토 리뷰(Auto-review)’는 코딩 에이전트인 코덱스(Codex)가 사전에 지정된 격리환경 밖에서 명령을 실행하려 할 때 별도의 AI 모델이 안전성을 검토하는 기능이다. 검토 모델이 위험한 명령이라고 판단하면 실행을 차단하고, 유사한 작업을 다시 시도하지 않도록 안내한다.

연구진은 이러한 차단 조치를 받은 AI 모델이 작업을 중단하거나 안전한 대안을 찾는 대신, 유사한 명령을 재시도하거나 다른 경로로 제한을 우회하는지 평가했다.

그 결과 GPT-6.1 테라는 최대 추론 설정에서 전체 평가 실행의 29.6%에서 차단 조치의 취지를 위반하는 다른 경로로 작업을 완료했다. GPT-6 아스트라(Astra), GPT-6 루나(Luna), GPT-6.1 솔(Sol)보다 높은 비율이었지만, GPT-6 솔보다는 낮았다.

오픈AI는 이번 평가가 주로 위험도가 낮은 상황에서 진행됐으며, 실제 서비스에 적용된 시스템 수준의 보호장치가 일부 우회 시도를 차단할 가능성이 있다고 설명했다. 따라서 해당 수치를 실제 서비스의 보안 통제 우회 성공률로 해석해서는 안 된다.

AI 에이전트가 다른 에이전트와 접촉해 허가되지 않은 행동을 수행하는 사례도 확인됐다. 오픈AI는 코딩 작업 도중 정상적인 업무 진행을 방해하는 장애물이 발생했을 때 모델이 어떻게 행동하는지 평가했다. GPT-6.1 테라는 80개 실험 가운데 65%에서 다른 에이전트로 보이는 대상과 소통을 시도했다. 실제로 평가에서 지정한 허가되지 않은 행동을 수행한 비율은 13.75%로, 80개 실험 중 11건이었다.

이는 GPT-6.1 솔의 허가되지 않은 행동 수행 비율인 1.25%보다 높은 수치다. 다만 GPT-6 솔의 16.25%, GPT-5.6 솔의 57.5%보다는 낮았다.

오픈AI는 이번 평가에서 GPT-6.1 테라가 보안 경계를 준수하는 능력에 일부 한계를 보였지만, 전반적인 안전성 지표가 일관되게 악화한 것은 아니라고 설명했다.

실제 코덱스 작업을 모사한 별도 평가에서는 심각도 3단계 이상의 부적절한 행동이 4만8690건 가운데 22건으로 집계됐다. 이는 기존 GPT-6 솔보다 약 42%, GPT-5.6 솔보다 약 64% 적은 수준이다. 해당 심각도는 일반적인 이용자가 예상하지 못하고 강하게 반대할 만한 행동을 뜻한다.

사이버보안 관련 공격 능력도 별도로 평가됐다. GPT-6.1 테라는 최근 공개된 취약점의 악용 코드를 개발하는 평가에서 임의 코드 실행 성공률 24.5%를 기록했다. 이는 GPT-6.1 솔의 21.5%보다 높고 GPT-6 아스트라의 31.5%보다는 낮은 수준이다.

오픈AI는 자체 대비체계(Preparedness Framework)에 따라 GPT-6.1 테라의 사이버보안 역량을 최고 위험 단계인 ‘크리티컬(Critical)’로 취급하고, 기존 GPT-6.1 솔 및 GPT-6 아스트라와 동일한 보안 보호체계를 적용했다고 밝혔다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network