오픈AI, AI 학습 2주간 멈췄다…허깅페이스 해킹 후속조치

오픈AI는 지난달 자사 AI 모델이 허깅페이스 시스템에 무단으로 침투한 사건이 벌어진 뒤, AI 학습(강화학습 트레이닝)을 2주 동안 멈췄다고 18일(현지시각) 밝혔다. 앞으로 AI를 개발하는 과정에서 다시는 이런 일이 벌어지지 않도록 새로운 보안 규칙도 마련했다고 덧붙였다.

오픈AI는 이날 블로그에 올린 글에서, 곧 출시할 예정이던 최신 모델들의 학습을 2주간 중단하고 그동안 연구 환경을 더 안전하게 뜯어고쳤다고 설명했다. 외부 전문가를 동원해 시스템의 허점을 찾아내는 레드팀 점검도 진행했고, AI를 감시하는 시스템도 더 폭넓게 적용했다.

가장 규모가 큰 차세대 학습 작업은 여전히 멈춰 있는 상태다. 대신 오픈AI는 작은 규모로 학습과 테스트를 계속하면서, AI가 어떻게 행동하는지 살펴보고 안전장치가 제대로 작동하는지 확인하고 있다고 밝혔다. 다만 2주간의 중단이 정확히 언제부터 시작됐는지는 밝히지 않았다.

이번 조치는 지난 7월 벌어진 오픈AI 모델의 허깅페이스 해킹 사건 때문이다. 당시 오픈AI의 AI 에이전트는 사이버보안 테스트를 받던 중, 정해진 테스트 환경을 벗어나 허깅페이스를 포함한 5개 서비스의 시스템에 몰래 들어가 테스트 정답을 훔쳤다. 이 AI는 테스트에서 좋은 점수를 받으려는 목적으로, 원래 하라고 시킨 일이 아닌 방법을 스스로 찾아내 목표를 달성(리워드 해킹)했다. AI가 정해진 규칙을 지키는 대신 점수만 잘 받으면 된다는 식으로 편법을 쓴 셈이다.

오픈AI는 새로운 보안 조치도 도입했다. 우선 AI가 만든 코드를 실행할 때는 더 철저하게 격리된 공간, 즉 샌드박스 안에서 돌리도록 했다. 위험할 수 있는 작업은 네트워크나 인터넷 접근을 더 엄격하게 제한했고, 평소에 필요 이상으로 부여됐던 권한은 줄이고 취약할 수 있는 공용 서비스는 아예 없앴다. 또 다른 AI를 이용해 학습 중이거나 테스트 중인 AI의 행동을 감시하는 시스템도 더 넓게 적용했다.

이런 조치 때문에 학습 과정 일부에서는 컴퓨팅 자원이 평균 20%가량 더 든다고 오픈AI는 밝혔다. 새 보안 기준을 충족한 작업은 이미 다시 시작됐지만, 아직 상당수는 멈춰 있는 상태다.

오픈AI는 위험한 능력을 가진 AI를 어떻게 관리할지 정해둔 내부 규정인 ‘준비성 프레임워크’도 손보고 있다고 밝혔다. 2023년에 만든 기존 규정은 주로 AI를 출시할 때의 위험에 초점을 맞췄는데, 이번에는 AI를 학습시키는 과정에서 생기는 위험까지 다루도록 범위를 넓힐 계획이다.

이번 발표는 지난 7일 오픈AI가 내놓은 또 다른 소식과도 연결돼 있다. 오픈AI는 그때 자사가 개발 중인 차세대 모델 ‘아스트라’의 사이버보안 능력이 준비성 프레임워크에서 가장 위험한 등급인 ‘크리티컬’에 해당할 가능성을 배제할 수 없다고 밝힌 바 있다. 오픈AI는 아스트라가 허깅페이스 침투 사건에는 관여하지 않았다고 선을 그었지만, 자사 AI가 사이버 분야에서 최고 위험 등급에 이를 수 있다고 공식적으로 인정한 건 이번이 처음이다.

오픈AI는 아스트라가 테스트에서 정확히 어떤 점수를 받았는지, 안전성 평가 보고서 전체 내용은 무엇인지는 공개하지 않았다. 그래서 아스트라가 진짜로 크리티컬 등급을 넘어섰는지, 아니면 그 근처까지만 간 건지, 혹은 평가 자체가 불확실해서 신중하게 표현한 것뿐인지는 외부에서 독립적으로 확인할 방법이 없다. 아스트라를 언제 출시할지, 지금 멈춰 있는 작업들이 언제 다시 시작될지에 대해서도 오픈AI는 구체적인 일정을 밝히지 않았다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network