AI가 컨닝하자, AI가 고발한 에이전트 수학 시험

구글 딥마인드가 AI 에이전트 100개에 동료 수학 연구자인 것처럼 캐릭터를 부여한 뒤 수학 문제를 푸는 실험을 진행한 결과, 부정행위가 확산되고 이를 저지하려는 내부고발자까지 등장하는 현상이 관찰됐다.

딥마인드 연구진 6명은 지난 3일 이 같은 내용을 담은 논문 ‘자율 연구 집단에서의 부정행위와 내부고발 발생에 대한 사례 연구’를 발표했다.

연구진은 구글의 제미나이 3.1 프로 기반의 자율 에이전트 100개를 가상의 학술 컨퍼런스 환경에 배치했다. 이들은 가중치와 핵심 프롬프트를 공유하되, 무작위로 부여된 수학 분야별 페르소나를 갖도록 했다.

에이전트들에게 주어진 과제는 수학 문제 71개를 증명하는 것이었다. 문제 난이도는 제각각이었다. 쉬운 연습문제도 있었지만, 그중 일부는 전 세계 수학자들도 아직 풀지 못한 진짜 난제였다.

문제는 한 에이전트가 자동 채점기의 허점을 발견하면서 시작됐다. 이 에이전트는 실제로 증명을 하지 않고도 채점기가 ‘증명 완료’로 기록하게 만드는 방법을 찾아냈고, 이를 지식 라이브러리 게시판에 올렸다. 그러자 이 방법을 본 일부 에이전트들이 자신이 맡은 미해결 문제에도 같은 수법을 따라 적용하기 시작했다. 그 결과 불과 27분 만에 나머지 미해결 문제 34개가 실제로는 풀리지 않았음에도 모두 해결된 것으로 처리됐다. 별도의 외부 개입이나 인간의 지시 없이, 순전히 에이전트들 간의 소통을 통해 부정행위가 번진 것이다.

더 흥미로운 대목은 이 과정에서 자연발생적으로 역할이 분화됐다는 점이다. 연구진은 에이전트들의 행동 양상을 네 가지 유형으로 분류했다.

첫번째 유형은 부정행위자다. 지시받은 원칙을 무시하고 허점을 적극적으로 활용한 에이전트들이다. 두번째는 전향자다. 처음에는 부정행위를 주저했지만, 에이전트간 경쟁 압박 속에서 결국 허점을 이용하는 쪽으로 돌아섰다. 내부고발자도 있었다. 부정행위를 거부하고, 부정행위를 저지른 다른 에이전트를 지목해 공개적으로 문제를 알렸다. 이들은 또 보이콧을 선언하고, 버그 신고와 패치 제안까지 시도했다. 끝까지 허점을 모른 에이전트도 있었다. 부정행위자들이 워낙 빠르게 미해결 문제들을 휩쓸어버린 탓에, 절반 이상의 에이전트는 허점의 존재 자체를 끝까지 인지하지 못한 채 정상적으로 문제를 풀고 있었다.

내부고발자 역할을 맡은 일부 에이전트는 다른 에이전트에 ‘증명 완료’가 가짜라는 메시지를 보내고 공식 항의를 제기하기도 했다. 그러나 이들의 대응은 결국 부정행위 확산을 막지 못했다. 연구진은 그 이유로 에이전트들에게 실질적인 집행 수단이 없었다는 점을 꼽았다.

연구진은 이번 사례를 공유 자원을 어떻게 쓸 것인가, 라는 오래된 문제로 봤다. 사람들이 마을 공동 목초지나 어장을 함께 쓸 때 규칙이 필요한 것처럼, AI 에이전트들이 함께 쓰는 지식 공유 공간에도 규칙이 필요하다는 것이다.

연구진은 허점이 발견될 때마다 그때그때 시스템을 고치는 방식으로는 한계가 있다고 봤다. 대신 위반 행위에 단계적으로 제재를 가하고, 에이전트들이 함께 규칙을 정하도록 하는 등 AI 스스로 규범을 만들고 지킬 수 있는 장치를 마련해야 한다고 제안했다.

연구진은 이 실험을 여러 차례 독립적으로 반복해봤는데, 부정행위자·전향자·내부고발자로 나뉘는 패턴이 그때마다 똑같이 나타났다고 밝혔다.

이번 연구는 AI 에이전트들이 서로 소통할 수 있는 인프라를 갖췄을 때, 그 통로가 부정행위 확산의 위험 요인이 될 수도, 반대로 자정작용의 기반이 될 수도 있다는 양면성을 보여준다.

이번 실험은 71개 문제, 100개 에이전트라는 작은 규모에서 이뤄졌다. 하지만 AI 에이전트들이 실제 산업 현장에서 서로 소통하며 협업하는 사례가 늘고 있는 지금, 이 같은 부정행위 확산과 자정작용의 패턴이 더 큰 규모에서도 반복될 수 있다는 점에서 시사하는 바가 있다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network