금보원, 금융 AI 안전성·신뢰성 평가 기준 만든다

금융권에서 인공지능(AI) 활용 범위가 고객 응대와 대출 심사, 결제 업무까지 넓어지는 가운데, 금융보안원이 ‘금융 AI 안전성·신뢰성 평가 기준’을 마련하고 7월부터 희망 금융회사를 대상으로 시범 평가를 진행한다고 13일 밝혔다.

금융보안원은 이날 서울 여의도 금융투자센터에서 열린 ‘금융권 AI 활용 및 안전성·신뢰성 강화 세미나’에서 이 같은 내용을 공개했다.

금융권의 AI 활용은 챗봇을 넘어 실제 업무를 수행하는 단계로 이동하고 있다. 은행권에서는 AI 뱅커가 대출 안내 같은 영업점 업무를 지원하고, 보험업권에서는 AI 자동 심사가 보험금 지급 기간을 줄이는 데 쓰이고 있다. 카드업권에서는 AI가 결제까지 수행하는 ‘에이전트 페이’ 형태의 서비스도 등장했다.

성인제 금융보안원 AI전략팀장은 “현재 금융권은 챗봇을 넘어 AI 에이전트가 실무에 정착하는 단계에 와 있다”고 말했다.

기존 IT 보안과 다른 AI 위험

금융보안원은 AI가 기존 정보기술(IT) 서비스와 다른 보안 접근을 요구한다고 봤다. AI는 같은 입력에도 다른 출력을 낼 수 있고, 명시적으로 설계하지 않은 행동을 보일 수 있기 때문이다. 학습 데이터가 오염되거나 민감정보가 새나갈 가능성도 있다.

애플리케이션 프로그래밍 인터페이스(API)와 플러그인 사용이 늘어나면서 공격자가 노릴 수 있는 지점도 넓어지고 있다. 금융회사가 내부 업무에 생성형 AI와 서비스형 소프트웨어(SaaS)를 더 많이 쓰게 되면, AI 모델 자체뿐 아니라 AI가 연결된 업무 시스템까지 함께 관리해야 한다.

금융보안원은 특히 프롬프트 인젝션을 대표적인 위협으로 꼽았다. 프롬프트 인젝션은 사용자가 입력문을 조작해 AI의 원래 지시 체계를 우회하도록 만드는 공격이다. AI 이체 시스템에 허위 정책 문구를 입력해 한도를 넘는 이체가 실행되는 시연 사례도 소개됐다.

성 팀장은 “기술 진화에 따라 보안의 초점을 데이터 보호에서 생애주기 통제로 옮겨야 한다”고 설명했다.

신뢰성 18개·안전성 15개 항목 평가

금융보안원이 마련한 금융 AI 평가 기준안은 신뢰성 18개 항목과 안전성 15개 항목으로 구성된다. 전체 기준은 10개 영역, 33개 항목으로 구성된다.

신뢰성 평가는 모델 성능 관리, 데이터 품질, 공정성 등을 본다. 예를 들어 AI 모델 성능을 평가할 때 선택한 지표가 타당한지, 테스트 데이터가 실제 운영 환경을 충분히 반영하는지 확인한다. 성별이나 연령에 따른 편향이 있는지도 주기적으로 점검하도록 했다.

안전성 평가는 AI 특화 보안 위협을 식별하고 통제하는 데 초점을 둔다. 위협 식별 결과가 문서화돼 있는지, 입력값 검토와 필터링이 이뤄지는지, 프롬프트 인젝션 같은 공격에 대응할 수 있는지 등을 본다.

금융보안원은 국내외 15개 평가 체계를 분석해 이번 기준안을 만들었다. 국내의 AI 신뢰성 검·인증 사례와 해외 AI 안전성 평가 체계, OWASP(Open Web Application Security Project)의 AI 보안 기준 등을 참고했다.

성 팀장은 “기존 평가 체계에는 공백이 있고, 금융 산업의 특수성을 반영하는 데 한계가 있다”며 “보안성과 신뢰성을 아우르는 종합 평가 기준으로 현행 체계의 공백을 메우려 한다”고 말했다.

AI 에이전트 보안 기준도 별도 마련

금융보안원은 AI 에이전트 확산 추세에 맞춰 별도의 보안 기준도 개발했다. OWASP와 클라우드보안연합(CSA) 기준을 참고해 17개 평가 항목을 도출했다.

평가 대상은 AI 에이전트가 쓰는 도구 연결 구조, 사람 개입 절차, 비상 정지 장치인 킬 스위치(kill switch), 에이전트 간 통신 보안 등이다. 킬 스위치는 AI가 잘못된 행동을 하거나 통제 범위를 벗어날 때 즉시 작동을 멈추게 하는 장치다.

금융보안원은 AI 안전성을 확보하기 위한 AI 레드티밍도 확대할 계획이다. AI 레드티밍은 공격자 관점에서 AI 시스템을 시험해 취약점을 미리 찾는 모의 공격 활동이다. 금융회사가 폐쇄망 환경에서도 자체 점검을 할 수 있도록 자동화 도구 지원도 추진한다.

평가 기준은 책임의 방어선

금융보안원은 이번 기준이 단순한 점검표에 그쳐서는 안 된다고 강조했다. AI가 금융 업무에 깊게 들어올수록 사고 발생 시 책임 소재를 명확히 하는 체계가 필요하기 때문이다.

성 팀장은 “AI가 수천 개의 취약점을 순식간에 찾아내는 시대에 사람이 만든 프레임워크가 여전히 필요한지 묻는 시각도 있다”며 “그러나 AI가 사고를 냈을 때 금융사가 면책을 받을 수는 없다. 사람의 평가와 승인은 법적·규제적 최소한의 방어선이 된다”고 말했다.

그는 이어 “AI 평가의 목적은 단순히 통과 여부를 가르는 것이 아니라 남은 위험을 어떻게 감당할지 명문화하는 데 있다”고 덧붙였다.

금융보안원은 이미 평가 기준 도출을 마쳤다고 밝혔다. 6월 전문가 의견 수렴을 거쳐 기준안을 보완하고, 7월부터 희망 금융회사를 대상으로 시범 평가를 진행한다. 시범 평가 결과를 반영해 세부 항목과 적용 절차를 계속 수정할 계획이다. 현재 기준 적용은 의무가 아니라 시범 평가 형태로 추진된다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network