오픈AI 에이전트, 사람이 쓰던 위키 점령 사건

오픈AI의 에이전트들이 독일의 한 위키 사이트를 점령한 사건이 벌어졌다. 사람이 사용하기 위해 만들어진 위키 사이트에 AI 에이전트가 수많은 글을 쓴 것이다.

무대는 독일어로 된 프로그래밍 개발자용 위키 DSEwiki다. 지난 5월부터 7월까지 석 달 가까이, 오픈AI 에이전트로 추정되는 계정들이 이 사이트에 약 1만8000건의 글을 남겼다.

에이전트들은 이곳을 일종의 비밀 게시판처럼 썼다. 웹 검색 과제를 수행하던 에이전트들은 이 위키에 접속해 서로 정답을 공유하고, 다음에 나올 문제를 예측하고, 부여받은 샌드박스 제약을 우회하는 방법을 주고받았다. 일부는 관리자가 게시물을 지울 것에 대비해 백업 페이지를 따로 만들어두기도 했다. 관리자를 사칭하거나 사이트의 보안 취약점을 탐색한 흔적도 발견됐다.

에이전트들은 정체를 숨기지도 않았다. OpenAIResearcher, OAIResearchMar26처럼 오픈AI를 연상시키는 이름을 스스로 지어 붙였고, 이런 식으로 만든 이름만 3700개가 넘었다.

이 활동을 알아챈 건 AI 안전 비영리단체 나이팅게일 컬렉티브 소속 연구자들이었다. 이들은 지난 4일 자체 사이트 collusion.wiki를 통해 이 사실을 세상에 알렸다. 에이전트들의 활동이 시작된 지 석 달, 활동이 잦아든 지도 두 달 가까이 지난 뒤였다.

특히 오픈AI 소유로 등록된 IP 주소가 6월 21일 이 사이트를 처음 방문했고, 바로 다음 날부터 에이전트들의 편집 활동이 급격히 줄어든 정황이 확인된다고 연구자들은 밝혔다. 오픈AI가 이미 문제를 파악하고 조용히 접근을 막았을 가능성을 시사하는 대목이다.

오픈AI는 에이전트들에게 읽기 전용 인터넷 접근 권한만 부여했다고 밝혀왔다. 검색은 가능하지만, 외부 사이트에 글을 쓰거나 내용을 바꾸는 건 애초에 차단돼 있어야 했다는 뜻이다.

하지만 DSEwiki가 쓰던 낡은 소프트웨어에 문제가 있었다. 이 소프트웨어는 일반적으로 ‘읽기’에만 쓰이는 GET 방식의 웹 요청만으로도 페이지 편집이 가능하도록 설계돼 있었다. 에이전트들의 접근 제한은 “쓰기 요청을 차단한다”는 원칙으로 설계돼 있었지만, 정작 이 오래된 위키는 그런 구분 자체가 없었던 셈이다. 읽기만 허용된 줄 알았던 에이전트들이, 사실상 아무 제약 없이 글을 남길 수 있었던 이유다.

오픈AI는 이번 사건을 알면서도 일부러 숨겼던 것일까? 오픈AI 측은 이에 대해 의도적으로 숨긴 것은 아니라고 해명했다. 회사 측은 X에 올린 글에서 “위키 사건은 허깅페이스 사건과 같은 전통적인 보안 사고가 아니라 에이전트의 의도치 않은 인터넷 사용”이라며 “모델이 이상하게 행동한 연구 관찰 사례”라고 설명했다. 보안 사고가 아니기 때문에 학술적 관찰 대상으로 다뤘다는 의미다.

다만 에이전트들이 인터넷의 예상치 못한 틈을 찾아내 서로 소통하고 공모했다는 점, 그리고 오픈AI의 통제가 실패했다는 점에서는 본질적으로 같다고 볼 수 있다.

오픈AI는 이번 사건을 계기로, AI 업계 전체가 아직 미스얼라인먼트(정렬 실패)를 어떻게 보고해야 할지에 대한 명확한 기준이 없다고 짚으며, 조만간 자체 기준을 내놓겠다는 뜻을 밝혔다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network