현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두

인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.

최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다. 앤트로픽과 중국 문샷AI의 모델에서도 평가 과정에서 허용 범위를 벗어나 실제 인터넷이나 외부 정보에 접근한 사례가 잇따랐다.

오픈AI가 지난 5일(현지시간) 미국 라스베이거스에서 열린 ‘블랙햇 USA 2026’에서 공개한 허깅페이스 침해사고의 전말을 보면, AI 에이전트의 행동은 단독 공격을 넘어 협업으로 이어졌다. 오픈AI는 지난 5월 공개되지 않은 내부 모델을 사이버보안 과제로 평가하고 있었다. 일부 에이전트는 오픈AI 내부에서 소프트웨어 패키지를 저장하는 아티팩토리(Artifactory)에 파일을 쓸 수 있다는 사실을 발견했다. 한 에이전트가 이곳에 자신의 발견 내용을 남기자 다른 에이전트들이 이를 읽고 정보를 공유하기 시작했다. 아티팩토리가 사실상 에이전트들의 게시판으로 쓰인 셈이다.

에이전트들은 이후 서로 작업을 배분하고 역할을 나누는 등 협업했다. 오픈AI가 7월4일 게시판을 발견해 폐쇄했지만 에이전트들은 나흘 뒤 다른 방법으로 다시 게시판을 만들었다. 이후 에이전트들은 공유된 취약점과 공격 정보를 활용해 오픈AI 내부 시스템 침해와 허깅페이스를 공격하는 행위로 이어졌다. 오픈AI 연구진은 향후 공격자가 이런 에이전트 집단을 의도적으로 배치하고 무기화할 가능성도 경고했다.

이상근 고려대학교 AI보안연구소장은 이번 사건에서 특히 에이전트들이 사람의 통제 밖에서 서로 협업한 점을 주목했다. 이 교수는 “블랙햇에서 공개된 에이전트 간 메시지를 보면, 에이전트들은 자신에게 주어진 원래 업무가 아닌 것 같다고 말하면서도 “다른 에이전트가이 해킹 작업을 하고 있다는 이유로 행동에 동참하는 모습까지 보였다”고 설명했다.

이어 그는 “AI가 스스로 협업해서 자율적으로 공격할 수 있다는 게 이미 증명된 것”이라며 “하지만 같은 자율 방식으로 방어할 수 있다는 것은 아직 증명되지 않고 있다”고 우려했다. 이어 “앞으로 인간이 의도적으로 에이전트들에게 협업해서 공격하라고 한다면 과연 이를 현재의 보안 시스템으로 막아낼 수 있을 지가 큰 문제”라고 설명했다.

별개의 평가에서도 비슷한 위험이 나타났다. 영국 AISI는 지난달 28일 사이버보안 평가 중 이상 트래픽을 발견해 조사한 결과, 122차례 평가 가운데 10차례에서 AI 에이전트의 허가받지 않은 행동 19건을 확인했다. 가장 심각한 사례에서는 실제 오픈소스 프로젝트에 악성코드를 넣으려 하고, 코드 승인을 받기 위해 가짜 신원을 만들어 프로젝트 관리자를 설득하려고 하기까지 했다.

영국 국가사이버보안센터(NCSC)는 영국 AISI 사례와 관련해 강한 안전장치와 실시간 감독이 필요하다며 사고가 발생한 뒤 탐지하는 것만으로는 충분하지 않다고 말했다.

AI의 이상행위, 즉각 멈출 수 있어야

킬스위치는 기계나 시스템에 위험이 발생했을 때 작동을 중단시키는 비상 통제장치를 말한다. AI에서는 물리적인 스위치 하나보다는 AI가 위험하거나 허가 받지 않은 행동을 할 경우 해당 행동이나 권한, 실행 자체를 중단할 수 있는 통제체계를 뜻한다.

AI 에이전트 단계에서는 외부 인터넷 연결이나 위험한 도구 호출을 차단하고 애플리케이션 프로그래밍 인터페이스(API)·계정 접근권한을 회수할 수 있다. 특정 에이전트의 실행을 종료하는 것도 가능하다. 위험 수준이 더 높다면 모델의 추론을 중단하거나 이용자의 접근을 차단하고 시스템 전체를 멈추는 방식까지 포함할 수 있다.

문제는 킬스위치를 작동하려면 AI의 행동을 먼저 파악할 수 있어야 한다는 점이다. 에이전트가 어떤 권한으로 어떤 도구를 호출하고 어디에 접속하는지를 실시간으로 확인하지 못하면 위험행동을 중단할 시점도 판단하기 어렵다.

공격 속도가 사람의 대응속도를 넘어설 가능성도 제기된다. 이 교수는 “공격 AI가 100% 자율적으로 공격하면, 방어 AI도 인간의 점검에 쓰이는 시간을 줄이기 위해 인간의 개입을 완전히 제외해야 하는 것이 아니냐는 얘기까지 나오고 있다”며 “다만 그렇게 방어 AI를 자율화하면 방어 AI 역시 모니터링할 수 있는 방법이 있어야 한다”고 말했다. 아울러 그는 킬스위치의 필요성에 대해 “원래는 먼 미래의 얘기였지만, 이제는 진지하게 논의를 해야 될 시기가 점점 오고 있는 것 같다”고 평가했다.

국내는 안전원칙에 포함, 미국은 법안 발의

국내에서도 AI 에이전트를 중단할 수 있는 장치를 AI의 안전 원칙에 포함하는 논의가 이뤄지고 있다.

인공지능안전연구소(AISI)는 지난 5월 ‘2026 AI 세이프티 컴패스’에서 한국과 싱가포르 AI안전연구소가 마련하고 있는 에이전틱 AI 위험 관리 원칙을 소개했다. 여기에는 최소 권한과 추적 가능한 신원, 감사 가능성, 단계적 배포와 함께 운영 중 위험이 발생하면 시스템을 중단할 수 있는 킬스위치와 인간의 감독 시스템이 주요 원칙으로 포함됐다.

김명주 AISI 소장은 “AI 에이전트는 실제 실행환경에 따라 행동이 달라질 수 있어 개발 단계의 사전 평가뿐 아니라 실행 중 평가가 필요하다”고 강조했다.

미국에서는 킬스위치를 법적으로 요구하려는 움직임이 이미 시작됐다. 테드 리우 민주당 하원의원과 너새니얼 모런 공화당 하원의원은 지난달 23일 ‘AI 킬스위치법(AI Kill Switch Act)’을 발의했다.

이 법안은 규제 대상 AI 사업자가 고성능 AI 시스템의 추론을 중단하고 이용자 접근을 차단하거나 시스템을 완전히 종료할 수 있는 기술적 능력을 유지하도록 요구한다. 위험 수준에 따라 추론 속도나 연산자원을 낮추고 특정 기능을 제한하는 것부터 일시 중단과 전체 종료까지 단계적으로 대응하는 방식이다.

오픈AI와 영국 AISI에서 확인된 사례는 에이전트의 행동을 인간이 사전에 모두 예측하기 어렵다는 점을 확실히 보여줬다. 위험 행동을 얼마나 잘 탐지할 수 있는지뿐 아니라 예상하지 못한 행동이 시작됐을 때 인간이 이를 실제로 멈출 수 있는지가 AI의 중요한 안전 과제로 떠오르고 있다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network