이한울 에임인텔리전스 디펜스 시큐리티 부문장이 바이라인네트워크와 인터뷰하고 있다. (출처=바이라인네트워크, AI 편집)
| | |

에임인텔리전스 “AI 에이전트의 행동, 업무 맥락에서 판단해야”

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼⑭]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

기업들이 인공지능(AI) 에이전트를 도입하는 방식은 다양하다. 업무에 맞는 에이전트를 직접 개발하기도 하고, 여러 에이전트를 연결해 협업하도록 플랫폼을 구축하기도 한다. 하지만 어떤 방식을 선택하든 빠뜨려서는 안 될 것이 있다. 바로 ‘보안’이다. 자동차에 브레이크와 안전벨트가 필요하듯 AI 에이전트에도 위험한 행동을 막고 피해를 줄이는 안전장치가 필요하다.

국내 AI 보안기업 에임인텔리전스는 AI 에이전트가 사용하는 데이터와 도구, 다른 에이전트와의 상호작용을 확인하고 실제 행동까지 통제하는 보안체계가 필요하다고 강조했다. 특히 에이전트의 개별 행동이 허용된 범위에 있는지뿐 아니라 ‘전체 업무의 맥락에서 적절한지 판단하는 것이 중요하다’는 설명이다.

이한울 에임인텔리전스 디펜스 시큐리티 부문장은 “모델의 성능이 빠르게 발전하는 데 비해서 그것을 통제하는 기술의 발전 속도가 늦기 때문”이라며 AI 보안의 어려움을 설명했다. 그는 AI 에이전트가 일으킬 수 있는 문제를 크게 두 가지로 구분했다. 사람이 악의적인 지시를 내리거나 실수로 잘못된 명령을 전달하는 경우다. 또 다른 문제는 사람이 그렇게 지시하지 않았는데도 AI가 목표를 수행하는 과정에서 허용된 범위를 넘어 행동하거나 보안장치를 우회하는 경우다.

AI 에이전트 보안의 기본 원칙은 기존의 보안 체계와 크게 다르지 않다. 다만 AI가 사람보다 빠르게 업무를 처리하고 여러 에이전트가 동시에 행동할 수 있다는 점에서 더 복잡해진다. 에임인텔리전스는 이러한 문제에 대응하기 위해 AI 자산 식별부터 실행 과정 추적, 권한과 행동의 실시간 통제, 사고 대응까지 연결하는 보안체계를 제시했다.

어떤 AI가 일하고 있는지부터 알아야

기업이 AI 에이전트 보안을 구축할 때 가장 먼저 확인해야 할 것은 ‘어떤 AI가 사용되고 있는지’다. 직원이 개인 계정으로 외부 AI 서비스를 이용하거나 업무에 필요한 에이전트를 직접 개발하는 경우가 있기 때문이다. 기업의 공식 승인이나 관리체계 밖에서 사용하는 이러한 AI를 ‘섀도우 AI(Shadow AI)’라고 부른다. 회사가 공식적으로 도입한 AI 플랫폼은 관리할 수 있지만 직원이 별도로 설치한 에이전트나 오픈소스 기반 도구까지 파악하기는 쉽지 않다. 해당 AI가 어떤 기업 데이터와 연결돼 있는지도 알지 못할 수 있다.

이 부문장은 최근 만난 기업들이 공통적으로 겪는 문제로 섀도우 AI를 꼽았다. 그는 “우리 회사 안에 어떤 AI가 있는지부터 확인을 해야 되는데 그것부터가 미비한 게 가장 큰 문제”라고 지적했다. AI 에이전트가 어떤 모델을 사용하는지뿐 아니라 연결된 외부 도구와 데이터, 메모리, 모델 컨텍스트 프로토콜(MCP) 서버 등도 확인해야 한다.

에임인텔리전스는 기업 고객들도 이러한 자산 식별 기능부터 요구하고 있다고 설명했다. 실제 한 고객사에서는 보안체계를 적용하면서 경영진이 예상했던 것보다 많은 AI 에이전트를 발견하기도 했다. 직원들이 별도로 만들어 사용하는 에이전트까지 포함하면 기업이 인지하지 못한 관리 대상이 상당할 수 있다는 설명이다.

에임인텔리전스는 AI가 기업 환경에 들어오는 경로를 크게 세 가지로 구분한다. ▲직원의 외부 AI 서비스 이용 ▲사내 AI 플랫폼 구축 ▲고객에게 제공하는 AI 서비스다. 외부 AI를 이용하는 직원에게는 기업 기밀 유출이 문제가 될 수 있다. 사내 플랫폼에서는 데이터 접근권한과 정보 오남용을 관리해야 한다. 고객용 서비스에서는 악의적인 프롬프트와 허용되지 않은 행동 등을 통제해야 한다. 이처럼 AI의 사용 환경마다 보안 위험이 다르기 때문에 보호할 대상을 먼저 식별해야 한다. 새로운 에이전트가 추가되거나 외부 도구와 연결될 때도 관리 현황을 갱신해야 한다.

권한은 구분, 업무 맥락까지 추적해야

사용 중인 AI 에이전트를 확인했다면 다음은 각 에이전트가 어떤 업무를 수행하고 어디까지 접근할 수 있는지 정해야 한다. 특히 여러 에이전트가 협업하는 오케스트레이션 환경에서는 상위 에이전트가 하위 에이전트에 업무를 위임하는 과정에서 권한이 불필요하게 확대될 위험이 있다.

이 부문장은 이러한 문제를 일반 기업 조직에 빗대 설명했다. 회사에서 팀장과 실무자가 같은 권한을 갖지 않는 것처럼 AI 에이전트도 맡은 업무에 필요한 최소한의 권한만 사용해야 한다는 것이다. 그는 “상위 에이전트가 하위 에이전트랑 당연히 같은 권한을 가져서도 안 되고 같은 인증 체계를 가지고 있어서도 안 된다”고 강조했다.

상위 에이전트가 기업 시스템에 접속할 수 있는 인증 토큰이나 비밀번호를 가지고 있더라도 하위 에이전트에 이를 그대로 전달해서는 안 된다. 각 에이전트의 업무에 필요한 접근권한과 실행 범위를 구분해야 한다. 이는 기존 기업 보안에서 강조하는 최소 권한과 제로 트러스트의 연장선이다.

그러나 권한을 적절하게 부여했다고 해서 모든 행동이 안전한 것은 아니다. AI 에이전트가 사용 권한을 가진 도구라도 현재 수행하는 업무에서 호출하는 것이 적절한지는 별개의 문제이기 때문이다. 이 때문에 에임인텔리전스는 AI 에이전트의 실제 업무 수행 과정을 추적하는 ‘옵저버빌리티(Observability)’를 강조한다. 관찰 가능성을 뜻하는 옵저버빌리티는 에이전트가 어떤 입력을 받았고 어떤 데이터를 조회했으며 어느 시점에 어떤 도구를 호출했는지 기록하고 분석하는 기술이다.

AI 에이전트 환경에서는 개별 실행 기록뿐 아니라 여러 작업의 연관관계까지 확인해야 한다. 예를 들어 한 에이전트가 문서를 검색하고 다른 에이전트에 분석을 맡긴 뒤 외부 애플리케이션 프로그래밍 인터페이스(API)를 호출했다고 가정해보자. 각각의 작업이 허용된 것인지 확인하는 데 그치지 않고 처음 어떤 지시를 받았으며 왜 해당 API를 호출했는지까지 파악해야 한다는 설명이다.

허용된 도구도 위험, 실시간 통제의 중요성

AI 에이전트의 실행 과정을 파악했다면, 위험한 행동을 차단해야 한다. 에임인텔리전스는 이를 위해 정적인 보안과 동적인 보안을 함께 적용해야 한다고 설명했다.

정적인 보안은 사전에 정한 규칙으로 특정 행동을 금지하는 방식이다. 예를 들어 기업이 허용하지 않은 외부 네트워크나 시스템에 대한 접근을 차단하는 것이다. 동적인 보안은 현재 수행하는 업무와 이전 작업을 바탕으로 행동의 적절성을 판단하는 방식이다. 평소 사용이 허용된 도구라도 업무 목적과 관계없는 시점에 호출한다면 차단할 수 있어야 한다.

문제는 AI 에이전트가 처리하는 작업이 많고 실행 속도도 빠르다는 점이다. 모든 요청을 매번 전체 업무 기록과 비교해 분석하면 처리 시간과 연산 비용이 증가할 수 있다. 에임인텔리전스는 이러한 문제를 고려해 여러 단계로 위험을 검사하는 방식을 활용하고 있다.

먼저 외부 데이터나 도구 설명에 악의적인 명령이 숨겨져 있는지 검사한다. MCP 서버의 설명이나 에이전트가 사용하는 스킬, 메모리 등에 숨긴 지시를 AI가 정상적인 명령으로 받아들이는 ‘간접 프롬프트 인젝션’을 탐지하는 작업이다.

다음으로 명확히 금지된 접근과 도구 실행을 차단한다. 추가 판단이 필요한 작업은 이전 실행 기록과 업무 맥락을 분석해 위험성을 확인한다. 이 부문장은 모든 작업에 동일한 수준의 검사를 적용하기보다 위험에 따라 검사 단계를 나눌 필요가 있다고 설명했다. 명확하게 허용하거나 차단할 수 있는 요청은 빠르게 처리하고 의심스러운 도구 호출에 대해서는 더 자세히 분석하는 방식이다.

에임인텔리전스는 이러한 보안 기술을 통합하기 위해 AI 보안 플랫폼 ‘스타포트(Starfort)’를 개발했다. 스타포트는 AI의 입력과 출력, 검색과 대화, 실제 도구 실행에 보안 정책을 적용하고 실행 과정을 중앙에서 관리하는 플랫폼이다. 핵심 구성요소인 ‘가디언(Guardian)’은 실시간 가드레일로, 프롬프트 인젝션과 민감정보 유출, 정책 위반 등을 검사한다. AI 에이전트가 호출하는 도구와 MCP 연결도 통제한다.

‘옵티콘(Opticon)’은 에이전트의 실행 흐름을 기록하고 추적하는 기능을 맡는다. ‘스트래텀(Stratum)’은 외부로 전달하는 문서를 분류하고 반출을 검사한다. 에임인텔리전스는 이러한 기능을 직원 PC와 AI 서비스가 연결되는 구간이나 기업의 AI 애플리케이션, API, 프록시 서버 등에 적용할 수 있도록 구성했다. AI가 데이터를 주고받고 도구를 실행하는 여러 지점에 보안 정책을 적용한다.

사고 발생 시 실행을 중단하는 기능도 마련했다. 스타포트는 프로젝트와 조직 단위로 AI 관련 통신을 차단하는 ‘킬 스위치(Kill Switch)’ 기능을 지원한다. 이처럼 에임인텔리전스가 제시하는 보안체계는 AI가 주고받는 정보와 실행 과정을 연결해 관리하는 데 초점을 맞추고 있다. 각 단계에서 발생하는 위험을 개별적으로 검사하면서도 기업의 정책을 일관되게 적용하는 구조다.

AI 에이전트에 퍼플티밍은 필수, 계속 검증해야

에임인텔리전스는 AI 보안 기술을 개발할 때 공격과 방어를 함께 연구하는 방식도 강조한다. 공격자의 관점에서 AI 시스템의 취약점을 시험하는 ‘레드티밍(Red Teaming)’과 이를 탐지·차단하는 방어 기술을 연결하는 것이다. 에임인텔리전스의 레드티밍 도구 ‘스팅어(Stinger)’는 AI 모델과 시스템을 대상으로 공격 시나리오를 시험한다. 여기서 확인한 공격 유형은 가디언의 방어 정책과 탐지 기술을 개선하는 데 활용한다.

공격팀과 방어팀이 함께 취약점을 확인하고 대응 기술을 개선하는 방식을 ‘퍼플티밍(Purple Teaming)’이라고 한다. 이 부문장은 회사 내부에서 공격과 방어 기술을 모두 개발한다는 점을 에임인텔리전스의 차별점으로 꼽았다. 새로운 공격 기법을 시험하고 이를 방어 기술에 반영할 수 있다는 설명이다.

사전 검증과 실제 운영 중 통제를 연결하는 작업은 에이전트 보안에서도 필요하다. 모델을 출시하기 전에 취약점을 점검했다고 해서 운영 과정의 위험이 사라지는 것은 아니기 때문이다. 기업이 연결하는 외부 도구와 데이터, 에이전트의 실행 범위가 바뀌면 이전에 없던 위험이 발생할 수 있다. 따라서 새로운 공격 유형을 지속적으로 시험하고 보안 정책을 보완해야 한다는 것이다.

모든 결정을 사람에게 맡기는 것도 답은 아니다

기술적인 통제와 함께 기업이 정해야 할 것은 ‘AI 에이전트의 자율적인 판단을 어디까지 허용할 것인가’다. 보안상 중요한 작업을 사람이 최종 승인하도록 하면 안전할 것으로 생각하기 쉽다. 그러나 AI 에이전트가 늘어나고 승인 요청도 많아진다면 사람이 모든 작업을 충분히 검토하기 어렵다.

이 부문장은 “오히려 그래서 사람이 새로운 취약점이 되기도 한다”고 지적했다. 사람에게 수많은 승인 요청이 몰리면 각 작업의 배경과 영향을 확인하지 않고 승인할 가능성이 커진다는 것이다. 사람이 최종적으로 확인하는 절차 자체보다 어떤 작업을 언제 누구에게 승인받도록 할지 정하는 것이 중요하다고 설명했다. 이어 그는 “기업이 무엇을 중요한 업무로 판단하는지 먼저 정의해야 한다”고 강조했다. 에이전트에 맡길 수 있는 작업과 사람의 승인이 필요한 작한업을 구분하고 승인권자가 판단에 필요한 정보를 충분히 확인할 수 있도록 해야 다는 설명이다.

기업마다 업무와 위험 수준이 다른 만큼 다른 회사의 보안 정책을 그대로 적용하는 것도 적절하지 않다고 봤다. 실제 기업의 보안 수요에서도 AI 도입 단계에 따른 차이가 나타난다.

에임인텔리전스에 따르면, 금융권은 데이터 유출 방지와 감사 기록 등 규제 준수와 관련된 기능을 우선 요구하는 경우가 많다. 반면 AI를 업무에 적극적으로 활용하는 기술기업에서는 에이전트의 실제 실행 과정에서 발생하는 운영 위험을 통제하려는 수요가 상대적으로 두드러진다.

국내 기업 다수가 아직 전사적인 AI 에이전트 오케스트레이션을 구현한 단계는 아니라는 점도 고려해야 한다. AI 에이전트를 도입하기 전에 사내 데이터와 권한체계를 정비해야 하는 기업도 적지 않다. 그렇다고 보안 설계를 나중으로 미룰 수는 없다. 에이전트에 어떤 시스템을 연결할지 정하는 단계부터 신원과 권한, 실행 범위, 사고 대응 기준을 함께 마련해야 한다는 것이 에임인텔리전스의 조언이다.

이 부문장은 앞으로 AI 에이전트가 활동하는 환경과 실행할 수 있는 행동의 범위가 더욱 넓어질 것으로 내다봤다. 현재는 주로 PC와 업무용 소프트웨어에서 활용하지만 휴대전화와 증강현실(AR) 기기, 로봇 등 물리적 환경으로 확장할 가능성이 있다는 것이다.

그는 에이전트가 활동하는 환경과 행동 범위가 넓어지는 만큼 이를 통제할 보안 기술을 선제적으로 확보해야 한다고 강조했다. 에임인텔리전스가 제시한 해법은 AI가 일을 시작한 뒤 위험한 행동을 차단하는 데 그치지 않는다. 어떤 AI가 사용되는지 찾아내고 실행 과정을 추적하며, 그 기록을 바탕으로 현재의 행동이 적절한지 판단하는 체계를 구축하는 것이다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]
[2편 기업 AI 에이전트의 성공은 어떻게 이뤄질까 바로가기]
[3편 AI 에이전트의 긴 여정, 안전벨트는 준비됐나 바로가기]
[4편 미래의 AI 에이전트 플랫폼은 어디로 흘러갈까 바로가기]

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network

일간 바이라인 구독하기

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다


The reCAPTCHA verification period has expired. Please reload the page.