[에이전트와 보안④] AI 에이전트 보안, ‘거버넌스’가 관건이다

인공지능(AI) 시대의 사이버보안 논의가 전 세계를 뜨겁게 달구고 있습니다. 앤트로픽의 ‘클로드 미토스 프리뷰’와 오픈AI의 ‘GPT-5.4-사이버’ 공개로 AI 모델의 취약점 탐지 능력이 주목받는 가운데, 업무 현장에서는 AI 에이전트가 메일과 문서, 데이터베이스, 외부 도구에 접근해 실제 작업을 처리하기 시작했습니다. AI 에이전트의 자율성이 높아질수록, 보안이 통제해야 할 권한과 연결 지점은 더욱 늘어납니다. 이번 기획에서는 AI 에이전트가 왜 새로운 보안 과제로 떠올랐는지, 어떤 위험이 드러나고 있는지, 이를 통제하기 위한 기술과 정책, 거버넌스 해법을 차례로 짚어봅니다. [편집자주]

[에이전트와 보안①] AI 에이전트 시대, 보안의 초점이 바뀐다
[에이전트와 보안②] AI 에이전트 보안 위협 현실화…메일 삭제부터 코드 실행까지
[에이전트와 보안③] AI 에이전트, 어떻게 통제해야 하나
[에이전트와 보안④] AI 에이전트 보안, 거버넌스가 관건이다 (이번호)

인공지능(AI) 에이전트를 안전하게 쓰기 위한 기술 논의는 빠르게 구체화되고 있다. 가시성 확보, 권한 분리, 신원 검증, 가드레일, 샌드박스, 레드팀 평가가 대표적이다. 하지만 기술적 통제만으로 AI 에이전트의 보안을 완성할 수는 없다. 기업은 어떤 AI를 허용할지, 어떤 업무에는 금지할지, 어떤 데이터와 연결할지, 어떤 행동에는 사람 승인을 요구할지 정해야 한다. 사고가 났을 때 책임 소재도 분명히 해야 한다. AI 에이전트가 업무 시스템에 연결되는 순간 보안은 기술 문제가 아니라 운영 기준과 정책 거버넌스 문제로 확장된다.

“허용된 AI만 쓰도록” 초기 통제가 중요

AI 에이전트를 위한 보안 거버넌스의 출발점은 ‘허용된 AI’와 ‘허용되지 않은 AI’를 나누는 일이다. 직원이 개인 계정으로 외부 AI 서비스를 쓰거나, 대규모언어모델(LLM)으로 에이전트를 만들어 내부 문서와 연결하면 보안팀은 사용 현황을 파악하기 어렵다. 기업이 관리하지 않는 섀도우 AI가 늘어날수록 데이터 유출과 권한 오남용 가능성도 커진다.

보안 전문가들은 AI 에이전트를 조직이 식별하고 관리할 수 있는 범위 안에 둬야 한다고 말한다. 박관순 티오리 최고정보보호책임자(CISO)는 AI 에이전트 시대에 가장 먼저 막아야 할 문제로 ‘섀도우 AI’를 꼽았다. 그는 “기업이 허용한 AI만 쓰게 하고, 모델과 애플리케이션을 화이트리스트 방식으로 관리해야 한다”며 “AI 에이전트를 지금처럼 자유롭게 쓰게 두면 사실상 운에 맡기는 것과 다르지 않다”고 설명했다.

이 기준은 어떤 서비스를 쓸 수 있느냐를 정하는 데서 끝나지 않는다. 기업은 에이전트의 소유자, 사용 목적, 연결 시스템, 처리 데이터, 로그 보관 기준도 함께 정해야 한다. 예를 들어 회의록 요약 에이전트와 고객정보 조회 에이전트, 배포 자동화 에이전트를 같은 기준으로 다룰 수 없다. 업무별 위험도를 나누고, 고위험 업무에는 별도 승인과 감사 절차를 만들어야 한다.

최근 논의되고 있는 AI 관리 체계도 이 흐름과 맞물린다. 국제표준인 ISO/IEC 42001은 조직이 인공지능 관리 시스템(AIMS)을 구축하고 운영하기 위한 기준을 제시한다. 박 CISO는 “AI 에이전트를 도입하려면 AI 리스크 관리와 영향 평가를 프로세스 안에 넣어야 한다”며 “에이전트 사용 여부를 개인 판단에 맡기지 말고, 조직 차원의 관리 체계 안에서 다뤄야 한다”고 말했다.

권한 위임 기준과 사고 책임 소재를 정해야 한다

AI 에이전트를 안전하게 쓰기 위해서 다음으로 정해야 할 것은 ‘권한과 책임’이다. 기존의 생성형 AI 모델은 대체로 질문에 답하는 형태로 사용됐다. 하지만 AI 에이전트는 파일을 읽고, 코드를 실행하고, 메일을 보내고, 외부 도구를 호출해 직접 작업을 수행한다. 사람이 하던 일을 대신하는 것이다. 이때 기업은 “누가 에이전트의 행동을 승인했는지”와 “누가 에이전트가 수행한 일의 결과를 책임질지”를 정해야 한다.

이상근 고려대학교 정보보호대학원 스마트보안학과 교수는 AI 에이전트의 핵심을 ‘권한 위임’이라고 봤다. 사람이 AI에게 파일 접근, 코드 실행, 메일 발송, 시스템 호출 같은 권한을 맡기는 순간 보안 문제가 시작된다는 설명이다. 그는 에이전트 보안의 핵심 쟁점으로 권한 위임, 비인간 신원, 행동 관측을 꼽았다. 그는 “어떤 에이전트가 누구에게 권한을 위임받았고, 어떤 행동을 했는지 볼 수 있어야 기술적 통제도 현실에서 구현할 수 있다”고 설명했다.

책임 소재도 복잡해진다. AI 에이전트가 잘못된 수신자에게 메일을 보내거나, 내부 문서를 외부로 전송하거나, 권한 변경을 실행했다면 누가 책임져야 하는가. 에이전트를 사용한 직원인지, 에이전트를 만든 부서인지, 기업 보안팀인지, AI 서비스를 제공한 기업인지 구분이 필요하다. 책임 구조가 사전에 정리되지 않으면 사고 대응도 늦어질 수밖에 없다.

윤인수 카이스트(KAIST) 전기및전자공학부 교수는 “AI 에이전트에게 권한을 주는 것은 이해하지도 못하고 완전히 제어하지도 못하는 존재에게 시스템 권한을 주는 상황”이라고 설명했다. 사용자가 적절한 보안 판단을 해줄 것이라고 가정하는 것 자체가 위험하다는 것이다. 그는 “개발 도구가 명령 실행 전에 사용자 승인을 요구하더라도, 사용자가 귀찮아서 위험한 명령까지 승인하는 경우가 생길 수 있다”고 우려했다.

윤 교수는 “AI는 기본적으로 신뢰할 수 없는 존재이기 때문에 권한을 어떻게 나눌지에는 정답이 없다”며 “다만, 시스템별로 이 권한을 가졌을 때 잘못된 입력이 들어오면 어디까지 할 수 있는지 분석할 수 있어야 한다”고 말했다. “이어 사용자를 믿고 승인 절차를 맡기는 방식만으로는 부족하고, 시스템 차원에서 에이전트의 행동 범위를 제한할 필요가 있다”고 강조했다.

이에 따라 조직은 AI 에이전트가 할 수 있는 일과, 사고가 발생했을 때의 책임 소재를 미리 정해야 한다. 읽기, 쓰기, 삭제, 배포, 결제, 코드 실행 권한을 업무별로 나누고, 고위험 행동에는 사람 승인과 추가 인증을 요구해야 한다. 또한 에이전트가 수행한 행동은 로그로 남겨야 한다. 사고가 났을 때는 어떤 입력과 문맥, 도구 호출, 승인 절차를 거쳤는지를 추적할 수 있어야 하기 때문이다.

법·인증 논의도 ‘에이전트 시스템’으로 확장

국내 법제도 AI 신뢰성과 안전성을 다루기 시작했다. ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’은 2026년 1월 22일부터 시행됐다. 이 법은 사람의 생명과 신체, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능 시스템을 고영향 인공지능으로 보고, 안전성과 신뢰성 확보 조치를 요구하는 틀을 마련했다.

다만 AI 에이전트 보안은 모델 자체의 신뢰성만으로 설명하기 어렵다. 에이전트는 모델과 도구, 데이터, 권한, 실행 환경이 결합된 시스템이기 때문이다. 같은 모델을 쓰더라도 어떤 데이터와 연결하는지, 어떤 도구를 호출하는지, 어떤 권한을 주는지에 따라 위험 수준은 달라진다. 향후 법제와 인증 논의도 모델 단독 평가를 넘어 에이전트 시스템의 운영 구조까지 살펴볼 필요가 있다.

미국 국립표준기술연구소(NIST)도 AI 에이전트 보안을 별도 과제로 다루기 시작했다. NIST 산하 AI 표준혁신센터(CAISI)는 올해 1월 AI 에이전트 시스템 보안을 위한 의견수렴(RFI)을 진행했다. NIST는 “AI 에이전트를 실제 시스템이나 환경에 영향을 미치는 자율적 행동을 계획하고 수행할 수 있는 시스템으로 봐야 한다”며 “AI 모델 출력과 소프트웨어 기능이 결합할 때 생기는 고유한 위험을 별도로 다뤄야 한다”고 설명했다.

NIST가 짚은 에이전트의 위험에는 ▲간접 프롬프트 인젝션처럼 적대적 데이터와 상호작용할 때 생기는 문제 ▲데이터가 오염된 모델 사용 ▲명시적 공격 입력이 없어도 에이전트가 보안에 해로운 행동을 할 수 있는 문제가 포함된다. NIST는 개발·배포 단계의 보안 개선 방법, 에이전트 보안 측정 방식, 배포 환경에서 에이전트 접근 범위를 제한하고 관측하는 방법에 대한 의견을 수렴했다. 이는 에이전트 보안이 모델 성능 평가가 아니라 접근 권한과 실행 환경, 모니터링까지 포함하는 문제라는 점을 보여준다.

또한 NIST는 지난 2월 ‘AI 에이전트 표준 이니셔티브(AI Agent Standards Initiative)’도 시작했다. 이 이니셔티브는 AI 에이전트가 사용자 대신 안전하게 작동하고, 디지털 생태계 안에서 원활하게 연동될 수 있도록 산업 주도 표준과 개방형 프로토콜 논의를 촉진하는 데 초점을 둔다. NIST는 사람과 에이전트, 에이전트와 에이전트 간 상호작용을 안전하게 만들기 위한 에이전트 인증과 신원 인프라 연구, 보안 평가 방법 개발을 주요 과제로 제시했다.

기존의 AI 거버넌스 기준을 참고할 필요도 있다. NIST의 생성형 AI 프로파일(AI 600-1)은 생성형 AI 위험을 식별하고 측정·관리하기 위한 위험관리 지침이다. ISO/IEC 42001은 조직이 AI 관리 시스템을 구축하고 유지·개선하기 위한 국제표준이다. 다만 에이전트 보안에서는 이런 기준을 그대로 적용하는 데 그쳐서는 부족하다. 에이전트별 실제 공격 시나리오를 넣고 배포 전에 진단하는 체계가 함께 필요하다는 것이 전문가들의 견해다.

이상근 교수는 “국내에서 AI의 위험성을 대비하는 방향성이 제도 중심 인증에 치우쳐서는 안 된다”고 조언했다. 제로 트러스트 같은 원칙은 방향성으로는 유효하지만, 실제 보안 수준은 공격 시나리오를 넣어봐야 확인할 수 있다는 것이다. 그는 “AI 에이전트 보안도 자동차 안전 평가처럼 실제 충돌 시험에 해당하는 레드팀 평가와 벤치마크가 필요하다”고 강조했다.

보안 컴플라이언스에도 에이전트 관련 항목 필요

AI 에이전트 확산은 기존의 보안 컴플라이언스에도 영향을 미친다. 국가AI전략위원회 보안특위 분과위원으로 있는 최영철 SGA솔루션즈 대표는 “AI 에이전트의 보안 통제 항목을 국내 컴플라이언스 체계에 반영해야 한다”고 강조했다. 그는 “기존 보안 체계는 IT 환경 변화를 따라가는 방식으로 발전해왔지만, AI 에이전트는 발전 속도가 너무 빨라 기존 방식만으로는 따라가기 어렵다”고 진단했다.

최 대표는 “AI 에이전트가 외부 서비스형 소프트웨어(SaaS), 업무 시스템, 내부 자산과 연결될 수밖에 없는 구조”라며 “이 에이전트가 공격자에게 장악돼 원래 시키지 않은 행동을 하게 되면 문제가 커지기 때문에, AI 에이전트를 사람과 자산처럼 관리하고, 특히 그중에서도 제로 트러스트 아키텍처와 마이크로세그멘테이션을 강화해야 한다”고 강조했다.

마이크로세그멘테이션은 내부망을 더 작은 구역으로 나눠 침해가 발생해도 피해가 전체로 번지지 않게 하는 방식이다. 최 대표는 이를 배의 격벽 구조에 비유했다. 배 안에 물이 들어와도 격벽을 닫으면 침수가 전체로 퍼지는 것을 늦출 수 있다. 최 대표는 “하나의 에이전트가 잘못된 행동을 하더라도 권한과 네트워크 범위를 쪼개서 권한과 할 수 있는 행동울 나누면 피해를 최소화할 수 있다”고 설명했다.

최 대표는 “AI 에이전트 시대에는 공급망 보안과 취약점 패치 체계도 앞당겨야 한다”고도 짚었다. 특히 최근 논란이 된 미토스 같은 AI 모델이 취약점을 대량으로 찾는 시대에는 패치의 홍수가 올 수 있다. 어떤 오픈소스를 쓰는지, 어떤 취약점이 있는지, 어떤 패치를 적용해야 하는지 관리하는 체계가 중요해진다. 소프트웨어 자재명세서(SBOM)도 이 맥락에서 중요해진다. SBOM은 소프트웨어에 포함된 구성요소와 오픈소스 사용 내역을 목록화한 자료다.

‘정보보호 및 개인정보보호 관리체계(ISMS-P)’ 같은 기존 인증 체계에도 변화가 필요하다. 박관순 CISO는 ISMS-P 제도 개선 과정에서 취약점 점검 인력과 모의해커 투입 논의가 있다는 점을 짚었다. 그는 “AI 기반 취약점 진단 도구가 확산되면 기업은 인증 심사 전에 스스로 취약점을 더 자주 찾아야 한다”며 “연 1회 점검이 아니라 상시 점검과 사전 대응이 중요해질 것”이라고 말했다.

사이버 레질리언스 부각, 사고를 전제로 한 거버넌스 필요

AI 에이전트 보안 거버넌스는 사이버 레질리언스와도 맞닿아 있다. 레질리언스는 ‘복원력’을 뜻하는 말로, 사고가 나지 않게 하는 데만 초점을 맞추지 않는다. 사고가 발생한다는 전제 아래 피해를 줄이고 빠르게 회복하는 능력까지 포함한다.

조영철 파이오링크 대표는 지난 23일 열린 ‘파이오링크 레질리언스 서밋’에서 “완벽한 방어는 환상에 가깝다”며 사이버 레질리언스의 중요성을 강조했다. 그는 “AI 확산으로 공격이 빨라지는 시대에는 사고 발생을 비난하기보다 어떻게 정상화할 것인가에 역량을 집중해야 한다”고 말했다. 이어 “레질리언스의 본질은 위기 상황에서도 비즈니스를 멈추지 않고 빠르게 회복하는 능력”이라고 설명했다.

조 대표는 레질리언스가 단순 복구 대책에 그쳐서는 안 된다고 봤다. 공격자가 침투하기 어렵도록 공격 비용을 높이고, 침해 징후를 조기에 탐지하며, 사고가 발생해도 피해가 작은 범위에 머물도록 해야 한다는 설명이다. 그는 “AI의 공격은 AI의 수비로밖에 해결할 수 없다”며 “완벽한 방어보다 해커들이 공격하기 어렵도록 공격 비용을 높이는 전략이 필요하다”고 말했다. 이어 “해킹이 일어났다는 전제 아래 신원과 접근 권한을 다시 점검하고, 시스템을 격리해 피해 확산을 막는 제로 트러스트 접근법이 더 중요해질 것”이라고 강조했다.

이 관점을 AI 에이전트 환경에 적용하면 레질리언스의 필요성은 더 뚜렷해진다. 에이전트는 메일, 문서, 코드 저장소, 데이터베이스, 클라우드, 보안 장비와 연결된다. 사고가 나면 단일 애플리케이션 장애가 아니라 업무 흐름 전체의 문제로 번질 수 있다. 특히 에이전트는 정상 권한 안에서 빠르게 행동하기 때문에, 오작동이나 악용을 늦게 발견하면 피해 범위가 커질 수 있다.

따라서 기업은 에이전트 사고를 막아야 할 예외 상황이 아니라 언제든 발생할 수 있는 운영 리스크로 봐야 한다. 에이전트가 잘못된 외부 명령을 따르거나 권한을 오남용했을 때 어떤 순서로 차단할지, 어떤 권한을 회수할지, 어떤 시스템을 격리할지, 어떤 업무를 우선 복구할지 미리 정해야 한다.

레질리언스 논의는 보안을 보안팀만의 과제로 두지 말아야 한다는 점도 보여준다. AI 에이전트가 실제 업무에 적용되면 경영진은 자동화 허용 범위를 정해야 한다. 법무팀은 외부 AI 서비스 이용 계약과 책임 범위를 봐야 한다. 개인정보를 관리하는 팀은 어떤 데이터가 에이전트에 들어갈 수 없는지 정해야 한다. 개발 조직은 에이전트가 코드와 배포 시스템에 접근할 때 필요한 승인 절차를 설계해야 한다.

침해 사고 발생 시의 대응 훈련 방식도 바뀔 필요가 있다. 박관순 CISO는 “기존 침해사고 대응 훈련이 악성코드 감염이나 계정 탈취를 중심으로 이뤄졌다면, 앞으로는 에이전트 오작동과 권한 오남용 시나리오도 포함해야 한다”며 “만약 에이전트가 잘못된 외부 명령을 받아 내부 문서를 요약해 전송하려 할 때, 누가 이를 감지하고 어떤 권한을 회수하며 어떤 로그를 보존할지 훈련해야 한다”고 말했다.

AI 보안 정책, 모델 안전성보다 실행 환경 고려해야

AI 에이전트 보안 정책은 모델 자체의 안전성에만 초점을 맞춰서는 한계가 있다. 에이전트는 모델과 도구, 데이터, 권한, 실행 환경이 결합된 시스템이다. 같은 모델을 쓰더라도 어떤 데이터와 연결하는지, 어떤 애플리케이션 프로그래밍 인터페이스(API)를 호출하는지, 어떤 권한을 주는지에 따라 위험 수준은 달라진다.

전문가들은 국내의 AI 법제와 정책도 실행 환경을 기준으로 확장될 필요가 있다고 본다. AI 기본법은 AI 신뢰성과 고영향 AI를 다루는 기본 틀을 마련했지만, 에이전트 시스템의 실행 구조를 어떻게 평가할 것인지는 아직 별도 과제로 남아 있다. 공공, 금융, 의료, 국방처럼 고위험 분야에서는 에이전트의 권한 위임, 비인간 신원, 도구 호출, 로그 보존, 사람 승인 절차를 별도로 점검해야 한다.

이상근 교수는 “AI 에이전트의 보안 정책이 실제 운영 체계와 연결돼야 한다”고 봤다. 그는 “보안도 AI로 자동화하면 된다고 막연하게 생각하지만, 두뇌만 AI이고 손발은 잘려 있으면 의미가 없다”며 “자산 식별, 패치 자동화, 영향성 평가, 침입 탐지까지 실제 운영 체계가 함께 바뀌어야 한다”고 지적했다. AI가 취약점을 찾아도 어떤 서버와 소프트웨어가 영향을 받는지 모르면 대응할 수 없고, 패치 적용에 따른 서비스 영향을 평가하지 못하면 현장에서는 패치를 미룰 수밖에 없다는 것이다.

또한 이 교수는 “AI 보안을 국가안보와 거버넌스 관점에서도 봐야 한다”고도 말했다. 그는 “미토스 같은 고도화된 AI 모델에 접근할 수 있는 기업과 국가, 그렇지 못한 기업과 국가 사이에 정보 비대칭이 생길 수 있다”고 우려했다. 이 격차는 단순히 모델을 쓰느냐의 문제가 아니다. 자사 코드와 시스템 정보를 어디까지 맡길 수 있는지, 취약점 분석 결과를 어떻게 검증할지, 이를 패치와 운영 조치로 어떻게 연결할지의 문제로까지 이어질 수 있다는 것이다.

이 교수는 “AI가 찾아내는 수많은 취약점 자체가 전략 자산이 되고 있으며, 일부 국가가 미토스 같은 AI 모델의 사이버보안 능력을 무기처럼 협상에 가져다 쓰는 상황이 올 수 있다”고 강조했다. 고도화된 AI 모델이 취약점 탐지와 분류, 패치 우선순위 판단에 쓰이면, 이를 활용할 수 있는 쪽과 그렇지 못한 쪽의 방어 역량 차이가 커질 수 있다는 설명이다.

윤인수 교수도 비슷한 우려를 제기했다. AI가 취약점 탐색과 공격 준비 비용을 낮추면, 그동안 공격자가 들여다보지 않았기 때문에 안전해 보였던 시스템까지 위험해질 수 있다는 진단이다. 그는 “영세 기업의 솔루션이나 오래된 오픈소스처럼 관심 밖에 있던 자산도 AI가 대량으로 들여다보는 순간 공격 표면이 될 수 있다”며 “국내 보안 체계와 정책도 AI 에이전트 방식의 자동화 방어와 상시 점검을 전제로 다시 설계할 필요가 있다”고 말했다.

AI 에이전트 보안은 모델을 얼마나 안전하게 만들 것인가의 문제에 그치지 않는다. 어떤 에이전트를 허용할지, 어떤 권한을 줄지, 어떤 행동을 기록할지, 사고가 났을 때 어떻게 멈추고 복구할지를 함께 정해야 한다. AI 에이전트가 업무를 대신 실행하는 주체가 될수록 보안 정책도 모델 중심에서 실행 구조와 운영 체계 중심으로 넓어져야 한다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network