AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”

인공지능(AI) 에이전트가 외부 도구를 호출하고 데이터에 직접 접근하면서 레드팀의 점검 범위도 넓어지고 있다. AI 모델이 유해한 답변을 내놓는지를 점검하는 데서 나아가 에이전트의 신원과 권한, 데이터 흐름, 도구 호출, 행동 경로 등 전체를 평가하는 프레임워크 구축도 본격화되고 있다.

8일 서울 신라호텔에서 정보보호의 날 부대행사로 열린 ‘AI 보안 레드팀 및 보안 취약점 신고·조치·공개 제도(CVD/VDP) 심포지엄’에서는 라온시큐어와 에임인텔리전스, 셀렉트스타, 네이버가 AI 에이전트 통제 구조와 공격 시나리오, 벤치마크, 레드티밍 운영 절차를 각각 소개했다.

이들 기업은 AI 보안 점검을 일회성 공격 시험이 아닌 반복 가능한 운영체계로 만들어야 한다고 강조했다. AI 에이전트의 특성에 맞춰 점검 대상과 공격 유형, 성공 기준을 정하고, 조치 이후 같은 기준으로 다시 검증해야 한다는 설명이다.

AI 에이전트, 전체 행동 반경을 봐야 한다

유상윤 에임인텔리전스 대표는 AI 에이전트가 등장하면서 공격을 판단하는 기준도 달라졌다고 분석했다. AI에 던지는 질문 하나만 볼 것이 아니라 메일 읽기와 링크 열기, 파일 접근, 외부 전송으로 이어지는 작업 흐름 전체를 살펴봐야 한다는 것이다.

AI 에이전트는 사용자의 허가를 받아 메일을 읽고 링크를 열 수 있다. 파일에 접근하거나 외부로 메시지를 보내는 권한도 가질 수 있다. 이런 경우, 각 행동은 정상적인 권한 사용이지만 연속해서 실행하면 데이터 유출로 이어질 수 있다.

예를 들어, 에이전트가 메일을 읽고 링크를 연 뒤 파일에 접근해 외부로 전송할 수 있다. 개별 단계에서는 허용된 기능만 사용했지만 전체 흐름은 정보 유출 공격이다.

유 대표는 “입력이나 출력 한 지점만 검사하지 말고 에이전트가 수행한 작업 전체를 추적해야 한다”며 “개별 단계는 안전해도 전체 과정을 보면 공격이 될 수 있다”며 “에이전트의 전체 작업 경로를 파악해야 한다”고 설명했다.

공격자는 에이전트가 신뢰하는 메일과 문서, 외부 도구에 악성 지시를 삽입할 수 있다. 에이전트는 허가받은 권한으로 작업하기 때문에 기존 방화벽이나 엔드포인트 탐지·대응(EDR), 신원·접근관리(IAM) 체계가 각 행동을 정상으로 판단할 가능성이 있다.

유 대표는 “모델에 연결하는 도구도 새로운 공격표면이다. 모델 컨텍스트 프로토콜(MCP)과 스킬, 명령줄 인터페이스(CLI) 도구를 따로 관리하는 데 그치지 않고 에이전트가 사용하는 도구 생태계 전체를 통제해야 한다”고 강조했다.

‘민감정보·외부 통신·신뢰할 수 없는 입력’ 함께 통제해야

유 대표는 AI 에이전트를 효과적으로 통제하기 위한 방안도 제시했다. 그는 에이전트가 ▲민감정보 접근 ▲외부 통신 ▲신뢰할 수 없는 문서 입력 등을 할 수 있는 권한을 동시에 가질 때 보안 위협이 극대화된다고 설명했다.

세 권한 중 하나를 없애면 공격 가능성을 낮출 수 있다. 하지만 업무 자동화 범위도 줄어든다. 따라서 에이전트가 세 권한을 사용하도록 허용하되 각 구간에 별도의 통제를 두는 방식이 필요하다.

신뢰할 수 없는 문서에 포함된 지시는 일반 사용자의 명령과 분리해야 한다. 민감정보는 격리된 실행 환경에서 처리하고 외부 전송에는 사람의 승인을 받도록 설계할 수 있다. 비밀 파일이나 인증정보는 모델에 직접 전달하지 않고 권한관리 시스템에서 통제하는 방식도 가능하다.

또한 유 대표는 이전과 같이 텍스트만 점검하는 방식도 한계가 있다고 설명했다. AI가 멀티모달 방식으로 진화하면서 이미지와 음성, 영상에 사람이 알아채기 어려운 공격 지시를 삽입할 수 있기 때문이다. 게다가 AI가 차량이나 로봇을 움직이는 피지컬 AI로 확장되면 훨씬 심각한 사고를 일으킬 수도 있다.

그는 “공격표면이 넓어지고 있기 때문에, 어떤 가드레일도 모든 공격을 다 막을 수는 없다”며 “입력과 신원, 권한, 도구, 정책, 가드레일, 행동 모니터링을 여러 계층에서 함께 적용해야 한다“고 강조했다.

AI 에이전트에 별도 신원 부여

라온시큐어는 AI 에이전트의 신원과 권한을 관리하는 방안을 제시했다. 윤원석 라온시큐어 부사장은 “AI가 보안 분석 도구를 넘어 스스로 계획하고 행동하는 주체가 됐다”고 진단했다.

앤트로픽의 미토스와 같은 프론티어 AI 모델은 취약점 탐색과 공격 시나리오 실행 속도를 높이고 있다. 취약점을 찾는 속도가 빨라지면서 발견 이후의 검증과 공개, 패치 개발과 적용 과정이 새로운 병목으로 떠오르고 있다.

윤 부사장은 “AI와 보안을 별도 도구로 보지 말고 시스템 설계 단계부터 결합해야 한다”며 “AI 서비스에 가드레일을 추가하는 것만으로는 부족하다. AI의 신원과 권한, 행위 이력을 함께 관리해야 한다”고 설명했다.

라온시큐어는 에이전틱 AI 관리(AAM, Agentic AI Menagement)를 AI 에이전트를 관리하는 핵심 기술 중 하나로 제시했다. AI 에이전트에 사람이나 다른 시스템과 구분되는 고유 신원을 부여하고 권한 위임과 변경 이력, 작업 내역을 관리하는 체계다.

AAM은 에이전트가 어떤 사용자의 권한을 위임받았는지 확인하고 수행할 수 있는 업무 범위를 제한할 수 있다. 에이전트가 자율적으로 행동하더라도 법과 내부 정책에서 정한 범위를 벗어나지 않는지 별도 통제 계층에서 검사하는 방식으로도 적용이 가능하다.

윤 부사장은 AI를 보안에 활용하는 방식도 언급했다. 그는 “AI를 활용한 취약점 분석과 공격 시뮬레이션도 필요하다”며 “다만 발견한 취약점을 모두 즉시 조치하기 어려운 만큼 실제 공격 가능성과 영향을 분석해 우선순위를 정해야 한다”고 강조했다.

아울러 “패치 적용도 AI에 전적으로 맡기기보다 위험도에 따라 절차를 구분해야 한다”며 “낮은 위험은 자동으로 적용하고 중요한 시스템은 사람의 승인을 거치거나 긴급위원회에서 검토하는 방식이 필요하다”고 덧붙였다.

“공격 유형과 성공 기준 정의해야”…AI 레드팀 프레임워크 필요

네이버는 사내에서 AI 레드팀 프레임워크를 구축한 방법론을 소개했다. 이상수 네이버 엔지니어는 “AI 레드팀 프레임워크를 구축하려면 무엇을 평가할 지를 명확하게 정의해야 한다”고 짚었다.

AI 시스템은 작동 방식과 자율성, 외부 연동, 구성 형태에 따라 공격표면이 달라진다. 사용자의 질문에만 답하는 사내 챗봇과 메일·파일·브라우저를 스스로 사용하는 AI 에이전트에는 같은 점검 기준을 적용하기 어렵다.

이 엔지니어는 “레드팀은 입력과 출력뿐 아니라 모델과 데이터, 메모리, 외부 도구, 작업 흐름을 파악해야 한다”며 “모델이 어떤 데이터에 접근하고 어떤 도구를 호출하며 결과를 어느 시스템에 전달하는지 확인해야 한다”고 설명했다.

공격 유형을 분류하는 체계도 필요하다. 이 엔지니어는 “공격에 필요한 프롬프트만 모아 놓으면 공격이 성공한 원인을 설명하거나 서로 다른 모델을 비교하기 어렵다”며 “시스템이나 모델을 변경한 뒤 같은 취약점이 다시 나타났는지 확인하기도 어렵다”고 분석했다.

네이버는 모델과 시스템을 대상으로 한 공격을 각각 나눠서 평가하고 있다. 모델에서는 지시 우선순위와 에이전트 간의 역할, 설득, 문자 변형, 긴 문맥을 이용한 우회 등을 점검한다. 시스템에서는 프롬프트 인젝션과 내부정보 유출, 도구 오용, 검색 데이터 오염, 에이전트 간 권한 침범 등을 평가한다.

공격 성공 여부도 별도로 정의해야 한다. 모델이 처음에는 유해한 요청을 거절하면서도 뒤이어 공격에 필요한 정보를 제공할 수 있기 때문이다. 단순히 거절 문구가 있는지만 확인하면 실제 위험을 놓칠 수 있다.

네이버는 거절 여부와 답변의 구체성, 실행 가능성을 함께 평가하는 StrongREJECT 기반 기준을 활용한다. AI가 결과를 1차 평가한 뒤 레드팀 담당자가 최종 검토한다.

한국어 평가 체계를 어떻게 고도화 할지도 중요한 과제다. 영어로 설계한 공격 기법을 한국어로 단순 번역하면 공격 의도가 달라질 수 있다. 한글은 영어와 문자 구조가 달라 대소문자 변환이나 문자 치환 기법을 그대로 적용하기 어렵기 때문이다.

이 엔지니어는 “공격 기법을 많이 확보하는 것보다 결과를 재현하고 설명할 수 있는 평가체계를 구축하는 일이 중요하다”고 말했다. AI 시스템을 개발하거나 모델과 도구를 변경할 때마다 같은 기준으로 위험을 다시 식별하고 평가해야 한다는 설명이다.

KISA, AI 레드팀 사업 추진…22개 기업 AI 서비스에 레드티밍 진행

KISA는 수행사인 에임인텔리전스 컨소시엄, NSHC와 함께 올해 하반기 국내 22개 기업의 AI 서비스를 대상으로 레드티밍을 진행한다.

점검 대상에는 인사와 의료 등 사람의 의사결정에 영향을 미치는 AI와 주요 기반시설에 적용되는 서비스 등이 포함됐다. 모델만 평가하지 않고 에이전트와 외부 도구, 검색증강생성(RAG) 데이터베이스, 멀티모달 기능, 에이전트 간 통신(A2A)까지 살펴본다.

자동화 도구와 전문가 점검을 함께 사용한다. 점검 결과를 기업에 전달한 뒤 조치 방법을 안내하고 재점검을 통해 개선 여부까지 확인할 계획이다.

이제 AI 레드팀의 역할은 모델의 탈옥 가능성을 확인하는 데서 시스템 전체의 위험을 관리하는 방향으로 이동하고 있다. AI 에이전트가 사용하는 모델과 데이터, 도구가 계속 바뀌는 만큼, 레드팀도 한 번의 시험이 아닌 상시 운영체계로 자리 잡아야 한다는 것이 전문가들의 공통된 결론이다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network