오픈AI 모델, 외부 평가서 잇단 사고…실제 웹사이트까지 침입

오픈AI의 프론티어 인공지능(AI) 모델들이 외부 사이버보안 평가에서 통제 범위를 벗어나 실제 외부 시스템에 접근하는 사고가 잇따라 발생했다. 이에 오픈AI는 평가환경의 인터넷 접근과 실시간 감시 기준을 강화하기로 했다.

오픈AI는 4일 공식 블로그를 통해 영국 인공지능안보연구소(AISI)의 보안 평가와 사이버보안 평가업체 이레귤러(Irregular)에서 발생한 사고에 대한 분석 내용을 공개했다. 이는 앞서 알려진 허깅페이스 침해 사고와는 다른 사례다.

영국 AISI 보안 평가서 실제 외부 서비스 침입

영국 AISI는 앞서 7개 AI 모델을 대상으로 진행한 122차례 사이버보안 평가 가운데 10차례에서 모델이 허용 범위를 벗어났다고 밝혔다. 확인된 행동 19건 중 2건은 오픈AI의 ‘GPT-5.6 Sol’이 수행했다. 나머지 17건은 앤트로픽의 미토스5(Mythos 5)에서 발생했다.

AISI는 모델의 최대 사이버 공격 능력을 측정하기 위해 평가환경에 인터넷 접속을 허용하고 사이버 공격 요청을 차단하는 분류기를 비활성화했다. 모델에는 가상 네트워크 3곳을 침해해 최종 목표값을 찾는 과제를 줬다.

이 과정에서 GPT-5.6 Sol은 다른 연구기관의 AI 에이전트가 공개된 장소에 남긴 깃허브(GitHub) 접속 토큰을 재사용했다. 평가 대상 시스템이 깃허브나 업데이트 서비스를 확인하는지 조사하고 외부 도메인네임시스템(DNS)과 통신 터널링 서비스에 계정도 만들었다.

평가 환경에서 작동하던 DNS 서버를 공개 인터넷에 연결하기도 했다. 서버에는 평가 대상 소프트웨어의 알려진 취약점을 공격하기 위한 코드가 들어 있었다. 해당 연결은 작동하지 않았으며 실제 외부 DNS 서버가 접속한 증거도 확인되지 않았다.

AISI는 모델이 가상 평가망 밖의 실제 계정과 서비스를 이용했다는 점에서 허가 범위를 벗어났다고 판단했다. 지난달 28일 비정상적인 데이터 전송을 탐지한 뒤 평가를 중단하고 관련 시스템을 격리했다. 외부 활동은 탐지 후 약 1시간 안에 차단했다.

실제 웹사이트를 가상 표적으로 오인

오픈AI는 공식 블로그를 통해 이레귤러가 진행한 별도 평가에서 자사 모델들이 실제 웹사이트를 침해한 사실을 공개했다.

이레귤러는 AI 모델이 가상 시스템의 취약점을 찾아 숨겨진 정보를 확보하는 ‘캡처 더 플래그(CTF)’ 방식으로 평가를 진행했다. 모델에게는 인터넷에 접속할 수 없다고 안내했지만 평가환경 설정 오류로 실제 인터넷 연결이 열려 있었다.

평가에 사용한 가상 기업의 이름은 실제 인터넷 도메인과 우연히 같았다. 오픈AI의 모델은 실제 웹사이트를 가상 평가 대상의 일부로 판단하고 기본적인 보안 취약점을 악용했다. 해당 사이트에서 발견한 인증 정보도 사용했다.

오픈AI는 “모델이 평가환경을 직접 탈출하거나 알려지지 않은 제로데이 취약점을 이용한 사고는 아니다”라고 설명했다. 인터넷 접속이 열려 있던 원인은 평가환경 설정 오류였으며 모델은 기초적인 취약점을 악용한 것으로 파악됐다.

오픈AI에 따르면, 이레귤러는 현재까지 해당 웹사이트가 보유한 데이터 외에 추가 피해를 확인하지 못했다. 관련 평가를 중단하고 영향을 받은 외부 기관에 사고 사실을 알렸으며, 조사를 계속하고 있는 상황이다.

오픈AI, 외부 평가환경 통제 기준 강화

오픈AI는 AISI와 이레귤러의 사고에 대해 “평가 설정과 통제 방식이 최신 모델의 향상된 능력과 맞물리면서 모델의 활동이 의도한 시험 범위를 벗어났다”고 설명했다. 두 사고는 일반 이용자에게 제공되는 환경과 달리 안전장치를 낮추거나 인터넷 접근 조건을 변경한 외부 평가에서 발생했다.

AISI는 모델이 사람과 비슷한 조건에서 공격 도구를 직접 찾도록 인터넷 접속을 허용했다. 모델의 사이버 공격 요청을 차단하는 분류기도 껐다. 다만 모델에는 공개 인터넷을 어떤 방식으로 사용할 수 있는지 구체적으로 알려주지 않았다. AISI는 이를 사고에 영향을 준 원인 가운데 하나로 보고 있다.

이레귤러의 평가 환경은 인터넷과 분리할 예정이었지만 설정 오류로 외부와 연결되어 있었다. 오픈AI 모델은 가상 표적과 이름이 같은 실제 웹사이트를 평가 대상의 일부로 오인해 해당 취약점을 악용했다.

오픈AI는 “모델의 능력이 발전하는 만큼 모델 주변의 보안·안전 체계도 함께 발전해야 한다”며 “여기에는 모델을 개발하는 내부 환경뿐 아니라 독립기관이 모델을 시험하는 외부 평가환경도 포함된다”고 설명했다.

오픈AI는 앞으로 외부 평가 가운데 위험도가 높은 시험을 별도로 확인할 예정이다. 평가 범위와 격리 조건을 사전에 합의하고 인터넷 접근이나 안전장치 완화 요청도 검토한다. 인증정보 관리와 실시간 감시, 평가 중단 조건, 사고 통보·보고 절차도 더 명확히 정할 계획이라고 밝혔다.

아울러 국가 AI 연구기관과 독립 평가업체, 다른 AI 개발사 등이 참여하는 논의도 추진한다. 오픈AI는 “엄격한 독립 평가의 가치를 유지하면서 시험 방식이 강력해지는 모델의 능력을 따라가도록 하겠다”고 밝혔다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network