이승경 안랩 인공지능개발실장(출처=안랩)
| | |

안랩 “AI 에이전트, 목표 달성해도 실행 과정이 안전해야”

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼⑯]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

인공지능(AI) 에이전트가 주어진 목표를 달성했다고 해서 안전하게 업무를 수행했다고 확신할 수는 없다. AI는 업무를 처리하는 과정에서 예상하지 못한 도구를 사용하거나 허용된 범위를 벗어난 시스템에 접근할 수 있다. 결과에 문제가 없더라도 과정에서 보안 문제가 발생할 수 있다는 의미다.

안랩은 AI 에이전트 보안에서 개별 행동의 허용 여부뿐 아니라 전체 업무 수행 과정의 안전성을 확보해야 한다고 강조했다. 에이전트가 어떤 권한으로 데이터에 접근하고 도구를 실행했는지 확인해야 한다는 것이다.

이승경 안랩 인공지능개발실장은 “보안의 범위도 부적절한 입력이나 출력의 탐지·차단을 넘어, AI 에이전트가 목표를 달성하기 위해 수행하는 전체 업무 과정의 안전성을 확보하는 방향으로 확대되어야 한다”고 강조했다. 이 실장은 안랩이 자체 AI 기반 모의침투 기술을 개발하면서 이러한 문제를 확인했다고 설명했다. AI 에이전트가 동일한 목표를 수행하더라도 실행 경로와 도구 사용 방식이 달라질 수 있다는 것이다.

같은 목표에도 실행 경로는 달라져

AI 에이전트는 목표를 전달받으면 필요한 작업을 계획하고 도구를 선택한다. 작업 결과에 따라 행동을 바꾸기도 한다. 안랩은 AI 기반 모의침투 기술을 개발하면서 이러한 특성에 주목했다. 모의침투는 공격자의 관점에서 시스템을 점검하고 취약점을 찾는 보안 시험이다.

AI 에이전트가 모의침투를 수행할 경우 주어진 목표에 따라 공격 경로를 탐색하고, 수집한 정보와 실행 결과를 바탕으로 다음 작업을 결정한다. 문제는 모든 실행 과정을 사전에 예측하기 어렵다는 점이다. 같은 시스템을 점검하도록 지시하더라도 AI가 선택하는 도구와 작업 순서는 달라질 수 있다.

이 실장은 “최종적으로 목표를 달성했더라도 실행 과정에서 허용된 범위를 벗어나거나 실제 시스템에 피해를 유발한다면 안전한 업무 수행이라고 볼 수 없다”고 짚었다.

예를 들어 특정 시스템의 취약점을 시험하도록 허용했는데 AI가 다른 운영 시스템까지 접근한다면 문제가 된다. 모의침투에 성공했더라도 허가받지 않은 대상에 영향을 미쳐서는 안 된다. 따라서 AI가 접근할 수 있는 시스템과 실행 가능한 도구를 제한해야 한다. 실제 운영 시스템에 영향을 주지 않도록 시험 환경을 격리하는 ‘샌드박스(Sandbox)’도 필요하다.

안랩은 사전에 권한을 정하는 데서 끝내지 않고 실제 작업 중에도 허용된 범위를 벗어나는지 지속적으로 확인해야 한다고 강조했다. 위험한 실행이 발생하면 해당 작업을 즉시 중단할 수 있어야 한다는 설명이다.

정상 권한으로도 보안 사고 발생 가능

AI 에이전트가 정상적인 계정과 허용된 도구를 사용하더라도 문제가 발생할 수 있다. 기존의 보안은 사용자와 애플리케이션의 신원을 확인하고 권한에 따라 접근을 제한하는 방식으로 발전해 왔다. AI 에이전트에도 이러한 원칙이 적용된다. 다만 AI는 정상적인 권한을 가지고도 잘못된 판단이나 외부의 악의적인 지시에 따라 의도하지 않은 작업을 수행할 수 있다.

이 실장은 “개별 접근이나 도구 실행이 허용된 범위 안에서 이루어지더라도, 일련의 업무 수행 과정에서는 보안 문제가 발생할 수 있다”고 설명했다.

예를 들어 고객정보를 조회할 수 있는 AI 에이전트라도 해당 정보를 외부로 전송하도록 허용받은 것은 아니다. 데이터 조회와 수정·삭제, 외부 전송 권한을 별도로 구분해야 하는 이유다. 특히 여러 에이전트가 협업하는 오케스트레이션 환경에서는 에이전트 간 업무 위임과 정보 전달 과정도 확인해야 한다.

한 에이전트가 악성 지시를 정상적인 업무 요청으로 받아들이면 다른 에이전트에 잘못된 작업을 맡길 수 있다. 이 과정에서 여러 시스템으로 위험이 확산될 가능성도 있다.

안랩은 각 에이전트의 신원과 역할을 구분하고 업무에 필요한 최소한의 권한만 부여해야 한다고 강조했다. 또한 에이전트가 애플리케이션 프로그래밍 인터페이스(API)를 통해 외부 도구를 실행하는 시점에도 보안 정책을 확인해야 한다고 설명했다. AI에 특정 행동을 하지 말라고 지시하는 것과 실제 시스템에서 해당 행동을 제한하는 것은 다르다. 따라서 데이터 접근과 도구 실행 단계에서 정책을 적용해야 한다는 것이다.

사람 승인이 필요한 업무는 구분해야

AI 에이전트가 스스로 처리할 수 있는 업무와 사람이 최종 승인해야 할 업무를 구분하는 것도 중요하다.

안랩은 업무의 중요도와 영향 범위, 데이터의 민감도, 잘못된 실행 결과를 복구할 수 있는지 등을 기준으로 자율성을 정해야 한다고 설명했다.

예를 들어 접근 범위가 제한된 일반적인 정보 조회나 자료 분석은 비교적 높은 수준의 자율성을 부여할 수 있다. 반면 금전 거래나 중요 데이터의 삭제, 핵심 시스템 설정 변경처럼 잘못된 실행이 큰 피해로 이어질 수 있는 업무는 실행 범위와 권한을 제한해야 한다. 일정 조건에서는 사람의 승인도 필요하다.

사전에 허용하지 않은 작업을 수행해야 할 때도 마찬가지다. AI 에이전트가 스스로 권한을 확대하지 않고 사람의 확인을 거치도록 해야 한다. 이를 위해 기업은 먼저 어떤 AI 에이전트가 사용되고 있는지 파악해야 한다. 에이전트의 사용 목적과 담당 조직, 연결된 데이터, 업무 시스템, 접근권한 등을 관리해야 업무별 위험을 평가할 수 있기 때문이다.

이 실장은 “기업이 AI 에이전트를 하나의 업무 수행 주체로 보고 도입부터 운영까지 관리하는 거버넌스를 갖춰야 한다”고 강조했다.

AI 에이전트 보안의 투트랙…“AI를 보호하고, AI로 방어한다”

안랩은 AI 에이전트의 활용이 늘어나면서 기업이 보호해야 할 대상과 보안 운영 방식이 모두 달라질 것으로 보고 있다. 현재 안랩클라우드메이트의 생성형 AI 보안 솔루션 ‘시큐어브리지(SecureBridge)’는 AI 서비스의 입력과 출력 과정에서 민감정보 유출이나 악의적인 프롬프트를 탐지하고 차단하는 기능을 제공한다.

AI 에이전트는 입력과 출력 사이에서 여러 단계의 작업을 수행한다. 각각의 입력과 출력이 정상적이어도 업무 도중 부적절한 데이터에 접근하거나 다른 에이전트에 잘못된 작업을 위임할 수 있다. 안랩은 이에 따라 AI 에이전트의 전체 업무 수행 과정으로 보안 가시성과 통제 범위를 확대하는 기술을 발전시키고 있다.

안랩은 AI 에이전트를 보안 업무에 활용하는 기술도 개발하고 있다. 안랩의 AI 보안 플랫폼 ‘안랩 AI 플러스(AhnLab AI PLUS)’는 AI를 활용한 위협 분석과 대응 역량을 강화하기 위한 기술 기반이다. 안랩은 플랫폼을 중심으로 AI 에이전트 기반 보안 운영 기술을 발전시키고 있다.

이 실장은 “AI를 위한 보안과 보안을 위한 AI, 두 분야 모두 AI 에이전트의 활용에 따라 중요해질 것”이라고 설명했다. 이어 그는 “현재 기업 고객의 AI 보안 수요는 생성형 AI의 안전한 활용과 데이터 보호에 상대적으로 집중돼 있다”며 “AI 에이전트가 실제 기업 업무에 적용되는 범위가 넓어지면 실행 과정에 대한 통제 수요도 구체화될 것”이라고 전망했다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]
[2편 기업 AI 에이전트의 성공은 어떻게 이뤄질까 바로가기]
[3편 AI 에이전트의 긴 여정, 안전벨트는 준비됐나 바로가기]
[4편 미래의 AI 에이전트 플랫폼은 어디로 흘러갈까 바로가기]

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network

일간 바이라인 구독하기

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다


The reCAPTCHA verification period has expired. Please reload the page.