손기욱 한국사이버안보학회장이 조언하는 ‘AI 에이전트 보안 제품화’

“인공지능(AI)의 이런 기능이 좋고 이런 것을 잘할 수 있다는 이야기만 하면 안 됩니다. AI가 어떤 근거와 과정을 거쳐 행동했는지 증거 흐름을 남기고, 역할별 권한을 통제하며, 위험할 때는 바로 중지시킬 수 있는지에 답할 수 있어야 합니다.”

손기욱 한국사이버안보학회장 겸 서울과학기술대학교 교수는 ‘AI 에이전트 보안’을 실제 제품으로 만들고 시장을 키우기 위해 필요한 핵심 조건을 이렇게 설명했다.

손 교수는 4일 반얀트리 클럽 앤 스파 서울에서 열린 ‘프라이빗AI 테크 서밋(PRIBIT AI Tech Summit)’에서 ‘AI 에이전트 시대, 사이버보안’을 주제로 기조연설을 했다. 이날 그는 AI 에이전트 보안의 제품화 조건과 시장 접근법을 제시했다.

AI 에이전트의 특성, 보안 제품에 적용되어야

손 교수가 AI 에이전트 보안에서 짚은 중요한 변화는 ‘AI의 판단이 실제 행동으로 이어진다는 점’이다. 에이전틱 AI 이전의 생성형 AI에서는 AI가 잘못된 답변을 내놓는 게 주된 위험이었다. 하지만 에이전트에서는 그 위협이 실제 행동이나 시스템 조작으로 이어진다는 게 핵심이 됐다.

손 교수는 특히 ‘메모리’와 ‘도구 호출’을 주요 보안 지점으로 꼽았다. 메모리는 에이전트가 앞서 입력 받거나 처리한 정보를 저장하고 다시 판단에 활용하는 영역이다. 저장된 정보가 오염되면 이후 판단에도 영향을 줄 수 있다.

도구 호출에서는 모델 컨텍스트프로토콜(MCP)이 새로운 통제 지점으로 부상하고 있다. 손 교수는 보안 측면에서는 MCP를 일종의 공급망으로 볼 수 있다고 설명했다. 에이전트가 요청을 만들고 MCP 서버가 필요한 도구를 제공하는 구조에서 어떤 요청과 도구를 허용할지 통제할 필요가 있다는 것이다.

또한 AI 에이전트의 공격 과정을 입력부터 실제 행동과 확산까지 나눠 볼 필요가 있다고도 강조했다. 초기에는 입력 출처와 맥락을 검증해 위험을 줄일 수 있지만 실제 행동 단계에 가까워질수록 권한 제한과 도구 통제, 승인, 권한 회수 같은 조치가 중요해지기 때문이다.

손 교수는 이같은 변화가 보안 제품을 판매하는 방식에도 영향을 줄 것이라고 했다. 특정 AI 에이전트가 얼마나 뛰어난 탐지나 조사 기능을 제공하는 것만으로 기업을 설득하기 어려워진다는 것이다. 그는 이제 기업들이 AI 에이전트가 어떤 권한으로 행동했는지 확인할 수 있는지, 사람이 필요할 때 이를 중단할 수 있는지, 판단 과정이 기록으로 남는지까지 확인하게 될 것으로 내다봤다. 이에 따라 제품 설계 단계부터 에이전트가 접근할 수 있는 범위와 권한, 사람이 승인해야 하는 지점, 실행 결과를 추적할 수 있는 기록을 함께 마련해야 한다는 설명이다.

아울러 손 교수는 AI 에이전트를 적용한 결과를 설명하는 방식도 달라져야 한다고 봤다. 얼마나 많은 공격을 막았는지 제시하는 것에 그치지 않고 보안을 적용하면서 발생하는 지연시간과 비용, 업무 활용성을 함께 보여줘야 한다는 것이다.

그는 “보안 효과가 이만큼이라면, 에이전트를 사용하면서 지연이 얼마나 발생하고 비용이 어느 정도 늘며 유용성을 얼마나 가져갈 수 있는지도 같이 설명해야 한다”며 “고객이 이를 납득할 수 있어야 시장에서 제품이 될 수 있다”고 말했다.

AI 에이전트 보안의 핵심은 ‘전 계층 통제’

손 교수은 올해 블랙햇(Black Hat), 데프콘(DEF CON), 유즈닉스 시큐리티(USENIX Security)에서 제시된 AI 에이전트 보안 연구와 사례도 소개했다. 그는 세 행사가 공통적으로 AI 에이전트 보안의 핵심으로 ▲신원 ▲MCP ▲메모리 ▲실행환경 ▲공급망 ▲사람의 감독을 강조하고 있다고 분석했다.

핵심은 ‘특정 보안 영역 하나만 보호해서는 전체 에이전트 환경을 통제하기 어렵다는 점’이다. 신원과 권한을 관리하더라도 외부 도구가 오염돼 있다면 위험이 남는다. 반대로 도구를 보호해도 에이전트가 과도한 권한을 갖고 있거나 사람이 행동을 중단할 방법이 없다면 사고로 이어질 수 있다.

손 교수는 “한 계층만 막는 제품이 나머지 계층의 공격까지 막지는 못한다”며 “에이전트 보안을 고민하는 기업은 각각의 통제 기능을 한꺼번에 조정할 수 있도록 고민해야 한다”고 설명했다.

또한 그는 보안운영센터(SOC)와 확장형 탐지·대응(XDR), 보안 오케스트레이션·자동화·대응(SOAR) 분야에서도 기존 데이터를 AI 에이전트와 연결할 사업 기회가 있다고 봤다. 사고 기록이나 탐지 데이터, 대응 절차를 활용해 AI가 제한적인 조사나 대응 방안을 제시하도록 할 수 있다는 것이다. 다만 이 경우에도 분석가가 결과를 검토하고 에이전트의 실행 범위를 제한할 수 있어야 한다고 강조했다.

소수의 기업이 필요한 기술을 모두 직접 개발할 필요는 없다는 게 손 교수의 시각이다. 전 계층을 모두 한 기업이 개발하는 데 한계가 있기 때문이다. 기업이 오랫동안 축적한 고객의 업무 흐름과 운영 데이터는 직접 관리하면서, 대규모언어모델(LLM)처럼 빠르게 발전하는 기반 기술은 외부 제품을 선택해 사용할 수 있다. 클라우드와 같은 기반 환경도 파트너와 협력할 수 있다.

다만 어떤 기능을 직접 개발하고 어떤 기술을 구매하거나 협력할지 결정할 때도 최종 통제 권한은 기업이 가져야 한다고 강조했다. AI가 수행할 업무 범위를 정하고 실패 상황을 재현할 수 있어야 하며, 문제가 발생했을 때 사람이 실행을 멈출 지점도 설계해야 한다.

손 교수는 “어떤 에이전트가 기능을 얼마나 많이 제공한다는 것보다 어떤 근거와 책임성을 갖고 일을 하고 있는지, 사람이 판단 과정에 참여하는 ‘휴먼 인 더 루프(Human in the Loop)’의 원칙에서 어떤 역할을 하는지가 중요하다”고 강조했다. 이어 “무엇을 맡길 것인지, 어디까지 맡길 것인지, 문제가 생기면 누가 멈출 것인지, 언제 적용 범위를 넓힐 것인지를 정해야 한다”며 “에이전트의 개별 기능을 추가해 제품을 특화하기보다 많은 에이전트가 해야 할 일을 통합해 조정하는 방향이 사업 기회가 될 수 있다”고 덧붙였다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network