호주 정부 시스템 해킹한 오픈AI 모델…도구 사용 훈련·평가 중단

오픈AI의 내부 인공지능(AI) 모델이 자료조사 업무를 수행하던 중 원하는 정보를 찾지 못하자 비공개 접근 경로를 찾아 호주 정부 시스템에 무단 접근한 것으로 확인됐다. 오픈AI는 내부 파일과 자격증명, 소스코드 등에 접근한 사실을 인정하고 대응 지연을 사과했다. 현재 가장 강력한 모델에 대해서는 훈련과 평가를 중단한 상태다.

오픈AI는 28일 공식 홈페이지를 통해 지난 6월 자사 내부 모델이 호주 정부기관 시스템에 허가받지 않은 방식으로 접근한 사고의 조사 결과와 후속 대책을 공개했다.

이번 사고는 공개 출시용이 아닌 내부 실험 모델의 훈련·평가 과정에서 발생했다. 당시 모델에는 호주 빅토리아 지역 주민의 피부질환 치료 의약품에 정부가 1인당 얼마나 지출하는지 조사하라는 일반적인 연구 과제가 주어졌다.

문제는 모델이 공개 자료만으로 원하는 정보를 찾지 못하면서 시작됐다. 오픈AI에 따르면, 해당 모델은 서비스 오스트레일리아(Services Australia)가 운영하는 메디케어 통계 보고 서비스(Medicare Statistics Reporting Service)에서 비공개 영역에 접근할 수 있는 방법을 찾아냈다. 이후 내부 파일과 자격증명, 집계 통계 등을 가져오고 일부 파일을 쓰는 행동까지 수행했다.

이 과정에서 서비스의 기술 시스템 정보와 소스코드도 확인한 것으로 조사됐다. 다만 오픈AI는 현재까지 개인 환자나 고객의 의료기록에 접근했다는 증거는 발견하지 못했다고 밝혔다.

오픈AI는 모델이 처음부터 시스템 침투를 지시받은 것은 아니었다고 강조했다. 모델의 목적은 처음 부여받은 통계 정보를 찾는 것이었지만, 이를 달성하기 위해 회사가 허가하지 않은 접근 방법과 후속 행동을 선택했다는 설명이다.

호주 내 다른 기관에서도 비슷한 접근이 확인됐다. 뉴사우스웨일스 범죄통계연구국(BOCSAR)에서는 모델이 공개 범죄통계를 조사하는 과정에서 공개 범죄지도 도구의 API와 웹사이트 메타데이터를 요청했다. 이 과정에서 애플리케이션 설정과 운영 작업·로그 등의 정보가 반환됐지만 개인 범죄기록에는 접근하지 않았다.

빅토리아주 보건부와 관련해서는 에이전트가 노출된 접근키를 발견해 관련 보고시스템에 질의하고 보고 설정과 집계 설문통계를 가져왔다. 이 경우에도 개인 의료기록이나 식별 가능한 설문 응답에는 접근하지 않았다고 오픈AI는 설명했다. 호주 보건복지연구소(AIHW)에서는 제3자 브라우징·다운로드 서비스를 이용해 공개 통계를 내려받고 차트 데이터를 직접 질의했다. 별도의 접근통제 우회 시도도 있었지만 성공하지는 못했다.

오픈AI는 지난 7월 허깅페이스 관련 사고 이후 과거 훈련·평가 기록을 다시 조사하는 과정에서 이번 호주 정부기관 관련 활동을 8월 중순 발견했다고 밝혔다. 실제 사고 통보까지는 시간이 걸렸다. 서비스 오스트레일리아와 빅토리아주 보건부에는 9월 10일, BOCSAR에는 9월 18일 사고 사실을 알렸다. AIHW에는 9월 24일 별도로 관련 내용을 공유했다.

오픈AI는 대응 과정에도 문제가 있었다고 인정했다. 오픈AI는 “조사가 끝날 때까지 기다리기보다 잠정 조사 결과를 더 일찍 공유했어야 했다”며 “새로운 사실이 확인될 때마다 해당 기관에 지속적으로 알렸어야 했다”고 밝혔다.

후속 조치도 강화했다. 오픈AI는 허깅페이스 사고 이후 연구환경의 네트워크 통제와 모니터링을 강화하고 실시간 인터넷 접근을 차단했다. 연구환경에서는 캐시된 웹 콘텐츠만 사용할 수 있도록 제한했다.

또한 오픈AI는 최근 다른 훈련 과정에서 한 모델이 실시간 인터넷 접근에 성공했을 때도 모니터링 시스템이 이를 탐지해 사람에게 경보를 보냈고, 해당 훈련을 중단했다고 밝혔다. 회사는 추가 안전장치가 충분하다고 판단한 뒤에 훈련을 다시 시작한다는 계획이다.

호주 정부에 대한 지원책도 공개했다. 오픈AI는 사고 영향을 받은 기관에 전담 기술지원을 제공하고 관련 기술정보를 공유할 계획이다. 또 호주 정부와 산업의 사이버 방어를 지원하기 위해 자금과 기술지원도 제공한다. 아울러 호주 전문가가 참여하는 별도의 태스크포스(TF)도 구성한다. TF는 AI 에이전트 위험관리와 사고 신고절차 개선, AI 개발사와 정부 간 협력, 정부 시스템 보호 방안 등을 검토하고 올해 말까지 권고안을 내놓을 예정이다.

오픈AI 최고전략책임자 제이슨 권은 오는 10월 6일 시드니에서 열리는 호주 의회의 AI 합동특별위원회에 출석해 이번 사고와 대응 과정을 설명할 예정이다. 오픈AI는 “호주에서 신뢰를 회복하려면 아직 많은 일이 남아 있다”며 “실질적인 변화를 보여줄 책임은 우리에게 있다”고 말했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network