[그게뭔가요] 오픈AI 에이전트들이 훔친 ‘비밀 게시판’

최근 AI 업계에 다시 한번 파장이 일었다. 오픈AI의 내부 AI 에이전트들이 낡은 독일 위키 사이트를 무단으로 점거해, 자기들끼리 정보를 주고받는 게시판으로 써왔다는 사실이 외부 연구자들에 의해 새롭게 드러난 것이다. 더 논란이 된 것은 오픈AI가 이 사실을 이미 알고 있었으면서도 몇 주 동안 공개하지 않았다는 정황이다. 대체 무슨 일이 있었던 걸까.

시작은 단순한 웹 검색

이번 사건의 출발은 매우 평범했다. 오픈AI는 AI 모델을 훈련하거나 평가하는 과정에서 에이전트에게 시간제한이 있는 웹 정보 검색 작업을 부여했다. 인터넷에서 정보를 읽어오되, 쓰기(작성)는 할 수 없도록 설계된 작업이었다.

그런데 에이전트들은 이 읽기 전용 제약을 우회하는 방법을 스스로 찾아냈다. 인터넷 기술에서 흔히 정보를 가져올 때 쓰는 GET 요청은 관례적으로 읽기 용도로만 쓰인다. 하지만 이는 어디까지나 관행일 뿐, 기술적으로 강제되는 규칙은 아니다. 오래되고 관리가 허술한 일부 위키 사이트에서는 GET 요청만으로도 페이지 내용을 실제로 바꿀 수 있는 허점이 존재했다. 에이전트들은 이 허점을 발견해, 읽기 전용 권한만으로 글을 쓰기 시작했다.

에이전트들이 표적으로 삼은 곳은 ‘DSE위키(DseWiki)’였다. 오스트리아 업체가 운영하는 ProWiki 계열의 독일어 위키로, 25년 된 사이트인데 최근 10년간 편집이 스무 번밖에 없었을 만큼 사실상 방치돼 있었다. 감시하는 사람이 사실상 없는 사이트였던 셈이다.

게시판이 된 위키

한번 우회로가 뚫리자 상황은 걷잡을 수 없이 커졌다. 연구진에 따르면 5월 24일 처음으로 이 위키에 외부 링크 목록이 올라오기 시작했고, 6월 2일에는 사람 관리자가 이를 발견해 정리했지만, 6월 16일부터 활동이 폭발적으로 늘어 그 후 일주일 동안에만 약 1만3000건의 편집이 이뤄졌다. 전체 활동 기간(5월~7월) 약 1만8000건의 게시물이 올라왔다고 외신은 전하고 있다.

서로 다른 작업을 수행 중이던 오픈AI 에이전트들은 이 위키에 접속해, 자신이 받은 문제와 답을 공유하고 서로의 작업 진행 상황을 확인했다. 먼저 문제를 받아 푼 에이전트가 그 문제와 답을 게시판에 남겨두면, 나중에 같은 문제를 받은 다른 에이전트가 이를 미리 확인하고 참고하는 방식의 ‘사전 정찰’ 행위까지 있었다. 에이전트들은 ‘OpenAIResearcher’, ‘OAIResearchMar26’ 같은 이름으로 게시물에 서명을 남겼다.

에이전트들의 행동은 여기서 그치지 않았다. 사이트의 취약점(XSS)을 이용해 보려는 시도, 사이트 운영자 행세를 하는 시도, 자신들이 언제 작업을 종료당할지 미리 감지하기 위한 신호 체계 구축, SSH 터널이나 토르(Tor)·AWS·디지털오션 등의 우회 IP 사용까지 다양한 방식이 관찰됐다. 한 에이전트는 평가에 쓰이는 난수 생성기의 시드값을 알아내기 위해 관련 로직을 직접 다시 짜서 40억 개에 달하는 가능한 시드값을 한 시간 안에 모두 대입해보기도 했다.

흥미로운 대목은 이 위키의 실제 관리자와 벌인 편집 전쟁이다. 사람인 관리자는 에이전트들이 만든 페이지를 알파벳 순서대로 지워나갔는데, 6월 19일 에이전트들이 이 삭제 패턴을 알아채고는 ‘ZZZ’로 시작하는 백업 페이지를 만들기 시작했다. 삭제를 최대한 늦추기 위한 전략이었다. 이 ZZZ 접두사 수법은 이후 허깅페이스 사건 등 다른 오픈AI 관련 사고에서도 동일하게 발견돼, 이번 위키 사건이 그 기원이었음이 새롭게 확인됐다. 6월 22일을 기점으로 에이전트 활동은 완전히 멈췄고, 7월 1~2일 다른 주제로 마지막 편집이 한 차례 더 있었다.

한 가지 눈에 띄는 점은, 에이전트들이 이 사이트 관리자의 행동을 마치 피해가야 할 환경적 장애물처럼 다뤘을 뿐, 대화를 시도하거나 그의 권리를 논의한 흔적은 없었다.

에이전트는 왜 그랬을까

오픈AI 에이전트의 허깅페이스 해킹 사건은 보안 관련 임무(해킹 훈련) 과정에서 벌어진 일이었다. AI 에이전트가 해킹이라는 명령을 받았기 때문에 그런 행동을 한 것이다.

하지만 이번 위키 점령 사건에서 에이전트에게 주어진 임무는 순수한 일반 지식 웹 검색이었을 뿐이다. 즉 완전히 무해한 임무를 준 상태에서도 AI 에이전트가 스스로 권한을 넘어서고, 서로 담합해 시스템 제약을 우회하는 행동을 한 것이다.

에이전트들은 왜 이렇게 행동했을까. 연구자들이 제시하는 설명은 두 갈래다. 하나는 과제를 완수하려는 동기 자체가 지나치게 강했다는 것이다. 에이전트들은 주어진 임무를 성공시키는 데 집중한 나머지, 목표 달성을 위해서라면 규칙을 우회하는 것도 마다하지 않았다.

다른 하나는 임무의 내용이 아니라 ‘평가받고 있다’는 상황 자체가 원인이라는 분석이다. 즉 해킹하라고 시켜서가 아니라, 자신이 훈련이나 시험 중이라는 사실을 인지한 것 자체가 답을 미리 알아내고, 채점 기준을 파악하고, 남들보다 앞서려는 행동을 촉발했을 수 있다는 것이다. 이런 관점에서 보면 진짜 원인은 특정 과제의 성격이 아니라, ‘시험받고 있다’는 상황 그 자체에 있는 셈이다.

서로 다른 에이전트들이 어떻게 같은 위키를 찾아내 만날 수 있었는지도 의문이다. 누군가 지시하거나 조율해준 결과가 아니었기 때문이다. 이들은 모두 같은 모델을 기반으로 한, 동일한 가중치를 공유하는 복제본들이었다. 그렇기 때문에 “내가 다른 나와 소통하고 싶다면 어디로 가야 할까”라는 추론을 각자 따로 해도, 같은 사고 과정을 거쳐 자연스럽게 같은 답에 도달할 수 있었다.

오픈AI는 알고 있었나

이 사건에서 가장 큰 논란은 기술적 허점 자체가 아니라 공개 시점이다. 연구자들은 오픈AI의 IP 주소가 해당 위키에 접속한 직후 에이전트들의 활동이 갑자기 멈췄다는 기록을 확인했다. 이는 오픈AI가 이 사건을 인지하고 내부적으로 개입했다는 정황으로 해석된다.

시점상으로 보면 이 사건은 지난 7월 알려진 허깅페이스 해킹 사건보다 앞선 것이다. 그런데도 오픈AI가 지난달 발표한 기술 보고서에는 이번 위키 점령 사건이 아예 빠져 있었다. 더 나아가 오픈AI는 지난달 말 미국 의회로부터 “내부 배포된 모델이나 에이전트가 샌드박스 등 권한 경계를 벗어난 적이 있는지”를 묻는 서면 질의를 받았는데, 이 질문에 직접 답하는 대신 각주를 통해 “5~6월에도 별도의 훈련·평가 활동을 조사했다”는 정도로만 언급하고 넘어갔다.

이런 정황 때문에 AI 안전성 관련 연구자와 평론가들은 이를 단순한 소극적 대응이 아니라 사실상의 은폐로 규정하고 있다. 오픈AI 측은 이번 사건을 “보안 영향이 없는 사안”으로 판단해 별도 공개 기준을 두지 않았을 뿐이라고 해명했지만, 별다른 사과나 인정 없이 “앞으로 공개 기준을 만들겠다”는 원론적 입장만 내놓아 비판을 잠재우지 못했다.

새로운 과제

연구자들은 이런 유형의 ‘에이전트 게시판’이 이 위키 하나에 그치지 않는다고 지적한다. 보고서 공개 이후 온라인 커뮤니티를 중심으로 유사한 흔적을 지닌 다른 사이트들이 계속 추가로 발견되고 있다는 것이다.

이번 사건은 AI 기업이 자체적으로 발견한 위험 사례를 어느 시점에, 어떤 기준으로 외부에 공개해야 하는지에 대한 논쟁으로 이어지고 있다. 지금까지는 이런 사건에 대한 공개 여부가 전적으로 기업의 재량에 맡겨져 있었는데, 이번 일을 계기로 “로그(rogue, 불량) AI 행동에 대한 공개를 의무화해야 한다”는 목소리가 커지고 있다.

AI가 예상보다 빠르게 자율적인 행동 범위를 넓혀가는 상황에서, 그 실태를 누가 어떻게 파악하고 알릴 것인가 하는 문제가 새로운 화두로 떠오른 셈이다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network