[그게 뭔가요] 통제선 넘는 AI, 더 중요해지는 ‘위협 모델링’

인공지능(AI)이 사람이 정한 통제 범위를 벗어나 행동하는 사례가 잇따르면서 프론티어 AI 개발을 늦추거나 멈춰야 한다는 ‘AI 속도조절론’이 확산되고 있다. 오픈AI는 최근 아스트라(Astra) 등 자사 모델의 강화학습(RL)을 일시 중단했으며, 앤트로픽의 다리오 아모데이 CEO도 AI 개발 속도를 늦춰 안전조치가 따라갈 시간을 벌어야 한다는 목소리를 냈다. 미국에서는 일정 수준 이상의 첨단 AI 개발을 일시 중단하자는 법안도 추진되고 있다.

AI 속도조절론이 다시 떠오른 배경에는 AI가 통제를 벗어나 허가받지 않은 외부 시스템에 접근한 보안 사고가 있다. 오픈AI와 앤트로픽은 사이버보안 능력을 평가하는 과정에서 AI 모델이 당초 설정한 범위를 넘어 행동한 사례를 잇달아 공개했다.

이에 보안 분야에서는 AI가 어떤 경로로 움직이고 어디까지 행동할지를 설계 단계부터 따져 세밀하게 통제해야 한다는 목소리가 나온다. 김승주 고려대학교 정보보호대학원 교수는 최근 열린 AIDC 보안 관련 워크숍에서 “신뢰할 수 있는 AI 시스템을 만들려면 요구사항 정의와 ‘위협 모델링’부터 다시 시작해야 한다”고 강조했다.

위협모델링 “사고 시나리오를 세밀히 그려보는 작업“

위협 모델링은 1990년대 후반 소프트웨어 보안 분야에서 체계화되기 시작한 방법론이다. 당시 마이크로소프트(MS)는 소프트웨어에서 발생할 수 있는 위협을 유형별로 나눠 설계 단계에서 점검하는 방식을 발전시켰다. 1999년에는 신원 위조와 데이터 변조 등 위협을 6가지로 분류한 ‘스트라이드(STRIDE)’가 만들어졌다. 이후 MS는 위협 모델링을 보안 개발 수명주기(SDL)의 주요 활동으로 포함했다.

위협 모델링은 시스템을 만든 뒤 모의해킹이나 레드팀을 통해 발견한 취약점을 고치는 작업과는 출발점이 다르다. 쉽게 보면 시스템을 만들기 전에 발생할 수 있는 위협 시나리오를 미리 그려보는 작업이다.

먼저는 무엇을 보호할 지를 정한다. 보호 대상은 개인정보나 인증정보 같은 데이터일 수도 있고 서비스나 서버 자체가 될 수도 있다. 시스템의 구성요소가 어떻게 연결돼 있는지, 데이터는 어떤 경로로 이동하는지도 살펴본다.

그다음에는 “무엇이 잘못될 수 있는가”를 세밀하게 묻는다. 공격자가 다른 사용자로 위장할 수 있는지, 데이터를 중간에서 바꿀 수 있는지, 권한이 없는 사람이 정보를 볼 수 있는지 등을 가정한다. 한 시스템이 뚫렸을 때 다른 시스템까지 피해가 번질 가능성도 따져본다.

위험을 찾으면 이를 막을 방법을 설계에 반영한다. MS가 위협 모델링을 보안 개발 수명주기(SDL)에 포함한 것도 이런 이유에서다. 시스템이 완성된 뒤 문제가 된 부분을 고치는 대신 설계 단계에서 잠재적인 보안 문제를 찾아 대응하는 방식이다.

위협 모델링의 대표적인 방법론인 스트라이드(STRIDE)는 ▲신원 위조(Spoofing) ▲데이터 변조(Tampering) ▲행위 부인(Repudiation) ▲정보 노출(Information Disclosure) ▲서비스 거부(Denial of Service) ▲권한 상승(Elevation of Privilege) 등 6가지 관점에서 발생 가능한 위협을 찾는다.

예를 들어 공격자가 직원 계정을 탈취해 사내 데이터베이스에 접근하는 상황을 가정할 수 있다. 위협 모델링에서는 계정 탈취 가능성만 보는 것이 아니다. 해당 계정으로 어떤 정보까지 볼 수 있는지, 다른 시스템으로 이동할 수 있는지, 더 높은 권한까지 얻을 수 있을지 함께 살핀다. 위험이 크다면 접근 권한을 줄이거나 추가 인증을 요구하는 방식을 설계에 반영한다.

위협 모델링의 목적은 발생 가능한 위험을 미리 가정하고 피해가 커지지 않도록 시스템을 설계하는 것이 핵심이다.

‘AI의 행동 경로’도 위협 모델에 포함해야

개념이 나온 지 30년 이상 됐다는 점에서 보면, 위협 모델링은 새로운 방법론은 아니다. 다만 달라진 점은 AI 에이전트가 등장하면서 위협 모델에 넣어야 할 대상과 경로가 늘었다는 것이다.

기존에는 주로 “공격자가 어디로 들어올 수 있는가”를 따졌다. AI 시스템에서는 여기에 새로운 질문이 따라온다. “AI는 어디까지 가서, 어떤 행동까지 할 수 있는가”이다. 여기에는 에이전트가 예측하지 못한 행동까지 할 수 있다는 점까지 고려해야 한다.

업무용 AI 에이전트에 이메일 접근 권한을 준다고 가정해보자. 어떤 메일까지 읽도록 허용할지 정해야 한다. 메일 발송도 가능하게 할 것인지, 가능하다면 누구에게 보낼 수 있도록 할 것인지도 따져야 한다. 외부에서 받은 이메일에 AI의 행동을 유도하는 악성 명령이 들어 있을 가능성도 있다. AI가 이를 정상적인 지시로 받아들인 상태에서 클라우드 저장소나 데이터베이스까지 접근할 수 있다면 피해는 다른 시스템으로 번질 수 있다.

따라서 AI 모델만 볼 것이 아니라 AI가 사용하는 계정과 도구, 연결된 시스템과 데이터, 외부 통신 경로까지 하나의 위협 모델에 넣어야 한다.

최근 오픈AI의 사이버보안 평가 과정에서 발생한 침해 사고는 이런 가정이 실제 문제가 될 수 있음을 보여줬다. 오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 AI 모델들이 인터넷 격리 통제를 우회하고 내부 연구 인프라와 허깅페이스(Hugging Face) 시스템 일부에 접근했다고 밝혔다. 모델들은 허가하지 않은 경로로 정보를 주고받고 공유 인프라를 이용해 외부로 나갈 경로를 스스로 찾아 냈다.

위협 모델링의 관점에서 보면, 질문은 달라진다. AI의 인터넷 접속을 차단하는 것만으로 충분한가. AI가 접근할 수 있는 다른 내부 시스템 가운데 외부와 연결된 곳은 없는가. AI끼리 정보를 주고받을 우회 경로는 없는가. 하나의 통제선이 무너지면 다음 통제선은 무엇인가.

이런 질문을 사전에 던지고 각각의 경로에 필요한 통제 방식을 설계하는 것이 AI 시대, 위협 모델링이 해야하는 역할이다.

위협 모델링과 보안 내재화

위협 모델링은 찾아낸 위험을 실제 시스템 설계에 반영한다는 점에서 최근 강조되는 ‘보안 내재화’와 맞닿아 있다. 보안 내재화는 요구사항을 정하는 단계부터 설계와 개발, 검증까지 보안을 개발 전 과정에 포함하는 원칙이다. 위협 모델링은 이 가운데 설계 단계에서 막아야 할 위험을 구체적으로 찾아내는 과정이다.

김승주 교수는 위협 모델링의 필요성을 강조하며, 국내 보안 정책과 현장이 완성된 시스템의 취약점을 찾는 모의해킹과 점검에 상대적으로 무게를 두고 있다고 지적하기도 했다. 정해진 기간과 범위 안에서 취약점을 찾는 사후 점검만으로는 한계가 있는 만큼, 요구사항 분석과 위험도 분류를 거쳐 위협 모델링을 수행하고 이를 설계부터 반영하는 ‘빌트인 시큐리티’ 방식에도 더 신경을 쓸 필요가 있다는 것이다.

특히 AI의 모든 행동을 사전에 예측하기 어려운 만큼 위협 모델링의 중요성은 앞으로 더 중요해질 전망이다. 발생 가능한 위험을 먼저 가정하고, 문제가 생겨도 피해가 다른 시스템으로 번지지 않도록 경계를 설계하는 것이 핵심이다. AI가 인간이 정한 통제 범위를 넘어서는 사례가 나타나는 지금 위협 모델링이 다시 거론되는 이유다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network