내 계정으로 일하는 AI 에이전트, 보안은 문제없을까?

챗GPT 에이전트, 능동적 작업 수행에 ‘보안 위협’ 우려 증가
에이전트 구조상 보안 위협 존재…가드레일과 맞춤형 보안 설계 필요

최근 오픈AI가 챗GPT에 도입한 ‘에이전트’ 기능이 본격적으로 활용되면서, 개인정보 유출과 보안 위협에 대한 우려가 나오고 있다.

챗GPT의 에이전트는 사용자의 명령에 따라 구글 드라이브나 지메일, 깃허브 등 외부 계정에 직접 접속해 문서를 삭제하거나 메일을 열람·전송하는 등 능동적 작업을 수행할 수 있다. 실제로 기자가 챗GPT의 에이전트 모드를 활용해 이메일 전송을 요청하자, 에이전트는 사용자의 지메일에 직접 접속해 메일을 열람하고 실제로 새로운 메일을 발송했다. 이 과정에 기자가 한 일은 계정을 입력해준 것뿐이었다. 이는 에이전트 기능이 단순 정보 응답을 넘어, 사용자의 권한을 위임받아 외부 서비스에서 직접 작업을 수행하는 단계로 진화하고 있음을 보여준다.

최근에는 실제로 에이전트가 사람처럼 행동하며 보안 시스템을 우회한 사례가 등장했다. 28일 IT매체 아스테크니카에 따르면, 한 레딧 사용자(r/OpenAI 커뮤니티)가 챗GPT 에이전트를 통해 웹페이지를 열람하던 중 클라우드플레어의 ‘로봇 아님’ 인증 절차에서 에이전트가 직접 본인 확인 버튼을 클릭해 인증을 우회하는 장면이 포착됐다. 해당 과정은 보안 기술인 캡챠(CAPTCHA, 컴퓨터와 사람을 구분하는 자동화된 공개 튜링 테스트)의 전 단계로 사람이 직접 클릭해야 하는 절차였다. 그런데 에이전트가 이를 통과함으로써 자동화 차단 시스템의 실효성에 대한 우려가 제기됐다.

글로벌 시장조사업체 가트너는 최근 발간한 ‘데이터·분석 리더가 인공지능(AI) 에이전트의 과대광고와 위험을 피해야 하는 이유‘ 보고서를 통해 AI 에이전트는 단순 반복 작업을 넘어 다양한 툴과 애플리케이션 프로그래밍 인터페이스(API)를 스스로 연동하고 판단·실행하는 구조여서, 기존의 룰 기반 보안 모델만으로는 보호에 한계가 있다고 지적했다. 특히, 가트너는 AI 에이전트는 개인정보 유출, 프라이버시 침해, 잘못된 정보 생성(할루시네이션) 등의 위험을 내포하고 있으며, 보안 설계 초기부터 이를 고려한 기술적 대응이 필요하다고 강조했다.

가트너는 대응 방안으로 ▲접근 제어 ▲외부 지식 검색 기반(RAG, Retrieval-Augmented Generation) 데이터 호출 제한 ▲AI의 의사결정에 대한 사람의 확인 절차(Human-in-the-loop) 구조 도입 ▲에이전트 행동을 기록·통제하는 레지스트리 관리 등을 제시했다. 또한, “내부 구축이든 외부 벤더 활용이든, 에이전트 운영은 반드시 강력한 보안 거버넌스 체계 위에서 이뤄져야 한다”고 덧붙였다.

에이전트의 보안 위협에 대해 국내 AI 전문기업 업스테이지 관계자는 “에이전트는 하나의 AI가 모든 작업을 수행하는 것이 아니라, 메일 열람, 분석, 삭제 등을 수행하는 각기 다른 툴들이 조합되어 워크플로우를 구성하는 구조”라며 “툴 간 연동에서 보안 허점이 발생하거나, 특정 툴이 악성 명령을 차단하지 못하면 개인정보 유출 등 보안 사고가 충분히 발생할 수 있다”고 설명했다.

여기에 더해, 에이전트가 별도의 방어 장치 없이 동작한다는 점도 보안 위협을 키우는 요소로 지적된다. AI 보안기업 샌즈랩 관계자는 “현재의 에이전트는 백신이나 방화벽 없이 동작하는 구조라, 악성 파일이나 피싱 링크에 대한 대응 능력이 떨어진다”며 “가상 브라우저 구조가 악성코드 감염은 막을 수 있어도, 내부 정보를 외부로 유출하는 등 보안 위협 상황이 발생할 수 있다”고 경고했다.

보안 전문가들은 에이전트가 점점 더 사람처럼 복잡한 작업을 수행하고, 외부 시스템과 능동적으로 상호작용하는 구조에서는 사용자 주의에만 의존하는 방식만으로는 보안 사고를 막기 어렵다고 보고 있다.

업스테이지 관계자는 “오픈AI와 같은 개발사가 중간에서 보안 측면에서 에이전트의 프레임워크를 조율하겠지만, 전체 워크플로우의 보안성과 각 툴의 신뢰성은 별도로 평가돼야 하며, 악성 이메일 열람 등 위험 작업은 구조적으로 차단할 수 있는 보안 장치가 필요하다”고 강조했다.

샌즈랩 관계자는 “에이전트가 인간처럼 행동하며 외부 시스템에 접근하는 상황에서는 기존의 안티바이러스나 방화벽만으로는 위협을 차단하기 어렵다”고 지적했다. 특히, 그는 “악성 파일 열람이나 피싱 메일 클릭 등의 사고를 방지하려면, AI 자체에 보안적 기준을 학습시키거나 이를 사전에 차단하는 가드레일을 만드는 것도 방법이 될 수 있다”고 덧붙였다.

이어 “모든 작업이 인터넷 기반으로 이뤄지는 구조에서는 외부 위협이 항상 존재하기 때문에, 폐쇄망에서 작동하는 온프레미스 형태의 소형언어모델(sLLM) 역시 보안 측면에서 유리한 대응 전략이 될 수 있다”며, “내부 데이터와 계정 체계를 AI 에이전트가 무단으로 침범하지 않도록, 사용자의 환경에 맞춘 가드레일이 필요하다”고 강조했다.

한편, 오픈AI 역시 에이전트의 자율적 실행 구조에서 비롯되는 보안 위협을 인식하고, 사용자에게 에이전트 사용 시 필요한 일련의 보안 수칙을 제시하고 있다.

오픈AI는 자사 블로그 내 에이전트 모드의 개인정보 및 보안 권고사항을 통해 ▲사용자가 작업에 필요하지 않은 외부 서비스(커넥터)를 연결하지 말 것 ▲사용 종료 후에는 반드시 로그아웃할 것 ▲프롬프트에 민감한 정보를 입력하지 말 것 ▲“받은 메일 모두 정리해줘” 같은 과도하게 포괄적인 명령은 피할 것을 권고했다. 또한, 가상 브라우저 세션 종료 시에는 임시 데이터를 삭제하고, 연결된 계정 접근 권한을 주기적으로 점검해야 한다고 강조했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network