“AI 에이전트 도입, 금융권은 안전부터 점검해야”…에임인텔리전스 ‘AI 가드레일’ 전략 제시

인공지능(AI) 에이전트 확산으로 금융권의 데이터·권한 리스크가 커지는 가운데, 국내 AI 보안 스타트업인 에임인텔리전스(대표 유상윤)는 기업이 AI 에이전트 도입 속도에 맞는 안전체계를 먼저 갖춰야 한다고 강조했다.

에임인텔리전스는 20일 여의도 콘래드 서울에서 열린 ‘금융정보보호 컨퍼런스 2025(FISCON 2025)’에서 ‘안전한 AI를 위한 전략: AI 가드레일’을 주제로 금융권 AI 시스템의 구조적 위협과 이를 통제하기 위한 기술적 대응 방안을 발표했다.

유상윤 에임인텔리전스 대표는 최근 금융권에서 업무자동화(AX) 실험이 확산되면서 챗봇 단계를 넘어 ‘에이전트형 AI’가 조직 내부 업무에 빠르게 접목되고 있다고 설명했다. 문제는 성능 고도화 속도가 안전 검증보다 앞선다는 점이다. 브라우저 자동화, 일정·이메일 처리, 결제 보조 등 강력한 기능을 가진 AI 에이전트가 등장했지만, 이들 기능을 제어하거나 검증하는 절차는 충분히 마련되지 않은 상태라는 지적이다.

그는 “해외에서도 안전 검증이 끝나지 않은 에이전트 기능이 이미 배포되고 있다”며 “금융권에서 동일한 형태로 도입될 경우, 단순 오류가 아닌 실제 금전 피해로 직결될 수 있는 구조”라고 우려했다.

금융권 AI 보안, 데이터 흐름 통제가 핵심

유 대표는 금융권이 특히 주의해야 할 AI 위험 요소를 ▲데이터 ▲입력(Input) ▲액션(Output) 세 가지로 정리했다.

먼저 금융·신용·개인식별정보처럼 민감도가 높은 데이터가 비정형 입력으로 들어오는 경우, 모델 내부에서 어떻게 처리되는지 기업이 직접 추적하기 어렵다. 여기에 외부 문서나 음성·이미지 입력에 숨겨진 조작 패턴(데이터 포이즈닝, 탈옥)이 더해지면, 모델은 쉽게 우회될 수 있다. 데이터 포이즈닝과 탈옥은 AI 모델을 속이거나 오염시켜 원래 의도와 다른 행동을 하게 만드는 대표적 공격 기법을 뜻한다.

유 대표는 “금융권에서는 송금·결제·데이터베이스(DB) 수정·업무 등록처럼 ‘쓰기 권한’이 포함된 행동을 AI에게 맡긴다면, 큰 금융사고로 이어질 가능성도 있다”고 강조했다.

또한 유 대표는 “세 가지 권한을 모두 가진 에이전트는 편리하지만, 제로트러스트 관점에서는 안전성을 보장하기 어렵다”며 “특히 금융권은 액션이 곧 사고로 연결되기 때문에 더 보수적으로 접근해야 한다”고 말했다.

일각에서 제기되는 “국내 데이터센터에서 온프레미스로 AI 모델을 가동시키면 안전하다”는 견해에 대해서도 그는 “절반만 맞는 말”이라고 했다. 온프레미스는 모델 외부 유출은 막을 수 있지만, 에이전트가 외부 API·브라우저·내부 DB와 연결되는 순간 새로운 공격 벡터가 생긴다는 것이다. 결국 문제의 핵심은 ‘서버 위치’가 아니라 데이터와 권한의 흐름을 얼마나 통제하느냐라는 해석이다.

에임인텔리전스, AI 공격과 방어를 동시에 연구

에임인텔리전스는 이런 위험에 대응하기 위한 기술적 구조로 ▲입력 ▲데이터 ▲출력으로 이어지는 3단 가드레일 체계를 제안했다.

입력 단계에서는 조작된 프롬프트, 악성 문서, 민감 정보 포함 여부를 탐지한다. 데이터 단계에서는 AI가 접근 가능한 정보 범위를 최소 권한 원칙에 맞춰 재설계하며, 사용자와 동일 권한을 부여하는 기존 방식이 충분히 안전하지 않다고 설명했다. 출력 단계에서는 AI가 제안한 액션이 적절한지 2차 검증해, 송금·전송·삭제와 같은 위험 행동을 차단한다. 특히 스트리밍 출력에 대한 검증은 난도가 높아 계속 연구 중이다.

유 대표는 “에이전트 시대에는 단순 필터링이 아니라, 입력부터 출력까지 실시간으로 재평가하는 통합 안전체계가 필요하다”고 말했다.

에임인텔리전스는 현재 AI 레드티밍과 AI 가드레일을 함께 개발하는 방식을 채택하고 있다. 정적인 데이터만으로는 가드레일을 강화하기 어렵기 때문에, 실제 공격 시나리오를 자동 생성해 우회 지점을 찾아내고 그 결과를 다시 가드레일 학습에 반영하는 구조다. 유 대표는 해외 AI 기업들의 가드레일 취약점을 분석·제보한 경험도 있다고 소개했다.

에임인텔리전스의 AI 가드레일은 입력·출력·민감도 분석을 분리해 처리하며, 한국어 기반 민감 정보 탐지와 금융권 정책 반영에 초점을 맞춘 것이 특징이다. 지연 시간은 평균 0.4초 수준이며 금융기관이 요구하는 ‘1초 이하 응답지연’ 기준을 충족하도록 설계했다.

또한 회사는 음성 기반 사용자 인터페이스(UI)·컴퓨터 에이전트 등 차세대 에이전트 환경에서의 안전성 연구도 진행하고 있다. 자율주행·물리 공간에서 발생할 수 있는 공격 데이터도 수집 중이며, 이를 위해 정기적으로 CTF(Capture The Flag, 해킹·보안 문제풀이 대회 형식) 형태의 AI 안전성 검증 대회를 운영하고 있다. 최근 대회에서는 자율주행 모델이 후면 카메라 이미지 조작만으로 사람을 충돌 대상으로 인식하도록 유도한 사례가 발견됐다고 소개했다.

유 대표는 “AI 위험이 이론이 아니라 실제 산업 환경에서도 발생할 수 있음을 보여주는 사례”라고 강조했다.

에임인텔리전스는 국내 통신·금융권을 중심으로 AI 가드레일, AI 레드티밍, 모델 안전성 평가 기술을 제공하고 있으며, 기업별 정책·데이터 환경에 맞춘 커스터마이징을 강점으로 내세운다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network