금융보안원이 진단한 AI 시대의 위협

금융보안원(원장 박상원)은 27일 양재 aT센터에서 열린 ‘코리아 핀테크 위크 2025’의 보안 세미나 ‘인공지능(AI) 시대, 핀테크 보안의 오늘과 내일’ 세션에서 “금융권에 AI 도입이 빠르게 확산되면서, 기존의 위험 모델만으로는 설명되지 않는 새로운 형태의 위협이 현실화로 나타나고 있다”고 진단했다.

이날 금융보안원은 ‘금융권 AI 레드티밍 정책의 현황’과 ‘핀테크 인증 절차 모의해킹 사례’를 구체적으로 소개했다. 금융 서비스가 AI를 토대로 디지털 전환 속도를 높일수록 그 기반이 되는 보안 설계가 더욱 정교해져야 한다는 것이 두 발표의 핵심이었다.

AI는 예측불가한 유기체…금융권, 초기 설계 잘못하면 큰 금융사고로 번져

AI 레드티밍 정책의 현황을 소개한 송은지 금융보안원 AI 데이터팀 수석은 “AI 시스템은 기존 IT 시스템과 완전히 다르다”고 강조했다. AI는 입력값이 같아도 매번 결과가 달라지고, 데이터 의존성이 높아 학습 과정의 작은 흔들림이 전체 동작을 변화시키며, 복잡한 모델·데이터·API 공급망이 하나의 AI 서비스 안에서 얽히기 때문이다. 그는 이런 AI 보안의 특성을 “성벽을 쌓아 막는 전통 보안과 달리, 계속 움직이고 변화하는 유기체를 다루는 일”이라고 설명했다.

그가 소개한 AI 공격의 진화 과정은 금융권을 겨냥한 위협을 더 구체적으로 보여준다. 초기에는 단순 프롬프트 인젝션으로 모델의 규칙을 우회할 수 있었고, 이후에는 계층적 유전 알고리즘으로 스스로 우회 문장을 만들어내는 ‘오토댄(AutoDAN)’ 공격이나, 하나의 모델이 다른 모델을 공격하도록 프롬프트를 정제하는 ‘페어(PAIR)’ 공격처럼 AI가 스스로 최적의 탈옥 프롬프트를 찾아내는 자동화 기법이 등장해 공격 효율이 크게 높아졌다.

최근에는 ‘딥인셉션(Deep Inception, 모델의 추론 체계를 교란해 내부 가드레일을 스스로 무너뜨리게 만드는 공격)’이나 ‘매니샷 제일브레이킹(Many-shot Jailbreaking, 수십·수백 개의 예시를 누적해 맥락을 왜곡하는 공격)’처럼 모델의 인지 구조를 흔들어 원하는 방향으로 사고 흐름을 틀어버리는 공격이 활발히 연구되고 있다. 더 나아가 자율 에이전트 시대가 시작되면서 공격자는 단순히 문장 생성 규칙을 우회하는 데서 그치지 않고, 에이전트의 실제 행동을 의도적으로 유발하는 교란 공격까지 시도하고 있다.

송 수석은 올해 금융권이 도입한 AI 모델을 대상으로 레드티밍을 수행한 결과, 여러 기관에서 매우 유사한 취약점이 반복적으로 나타났다고 설명했다. 상황에 따라 모델 내부 정책이 노출되고 여러 차례 질문을 쌓으면 시스템 프롬프트가 자연스럽게 드러나는 경우도 있었으며, 최신 우회 기법을 적용하면 상당수 모델이 탈옥(Jailbreak, AI의 안전장치를 우회하는 방식의 공격)에 취약했다. 검색결합형 생성(RAG) 기반 서비스를 사용하는 경우에는 참조 문서에서 상품 설명·업무 지침·고객 응대 매뉴얼 일부가 그대로 추출되는 사례도 있었다. 일부 모델은 본래 역할을 벗어난 답변을 제한 없이 제공해, 금융 조언·투자 전략 등 금지된 정보를 자연스럽게 내놓기도 했다.

송은지 수석은 이를 “AI를 단순 편의형 챗봇 정도로 취급하는 금융사가 가장 큰 위험을 떠안고 있다”고 경고했다. 초기 설계 단계에서 사소한 허점을 방치하면, AI가 본격적으로 백오피스와 대고객 서비스로 확장되는 시점에 그대로 노출되거나 증폭될 수 있다는 설명이다.

그는 각 단계별 대응 방안으로 ▲의도 분석과 위험 질문 차단(입력 단계) ▲비정상 프롬프트 탐지와 가드레일 모니터링(처리 단계) ▲시스템 프롬프트 보호와 권한 외 정보 탐지(출력 단계)를 제시했다. 더불어 AI 팀만의 과제가 아니라 조직 전체가 참여하는 체계를 구축해야 하며, 재학습·업데이트 과정에서도 안전성 검증 절차를 고정적으로 포함해야 한다고 강조했다.

금융보안원은 올해 말 AI 레드티밍 결과 보고서를 발간하고, 내년에는 에이전트 기반 공격 대응 시나리오와 금융권 특화 가드레일을 배포할 예정이다.

핀테크 인증 모의해킹 “대출·이체·대포통장까지 연쇄 개설”

핀테크 모의해킹 사업을 진행한 유재욱 금융보안원 RED IRIS팀 책임은 핀테크 인증 절차가 실제 공격 환경에서 어떻게 무너지는지 구체적인 흐름을 설명했다. 그는 “금융권은 인증을 여러 단계로 구성해 안전하다고 생각하지만, 공격자는 이 여러 인증 수단이 서로 연결돼 있다는 사실을 이용해 전체 절차를 무너뜨린다”고 말했다.

그가 제시한 모의해킹 사례는 간편 인증서를 재발급하는 과정에서 시작됐다. 특정 조건이 맞으면 공격자는 사용자 기기나 계정에 접근하지 않고도 인증서를 다시 발급받을 수 있었고, 이후 SMS·ARS 인증 과정에서 서버 응답 값이 변조되는 문제를 이용해 다음 인증 단계도 쉽게 통과했다. 이어 외부 인증기관과 연계된 검증 절차에서는 반환되는 값이 제대로 확인되지 않아 공격자가 변조된 정보로도 본인 인증을 마칠 수 있었다.

비대면 계좌 개설 시 사용되는 1원 계좌 인증 역시 취약점이 발견됐다. 일부 서비스는 전송된 응답 값에 인증번호가 그대로 포함돼 있었고, 공격자는 이를 이용해 계좌 소유자 검증을 우회할 수 있었다.

취약점이 계속 연이어 발견되자, 특정 인증 단계를 건너 뛰었음에도 전체 서비스가 이를 오류로 인식하지 않고 정상 처리해버리는 구조적 문제가 드러났다. 그 결과 공격자는 피해자 계정으로 로그인하는 데 성공한 뒤, 이 계정을 기반으로 공동 인증서와 일회용 비밀번호(OTP)까지 재발급 받았고, 오픈뱅킹 등록 절차와 타행 계좌 이체, 임의 대출 실행, 증권 계좌 접근, 심지어 대포통장 개설까지 연쇄적으로 진행할 수 있었다.

유재욱 책임은 이 과정에서 핵심 문제를 “각 인증 절차의 보안성은 높아 보이지만, 서로 연결되면 작은 구멍이 전체 보안 구조를 무너뜨리는 연결형 취약점”이라고 진단했다.

이어 유 책임은 대응 방안으로는 “설계 단계에서 인증 단계별 상태 관리·세션 검증을 강화하고, 여러 인증 수단이 조합되는 흐름 전체를 기준으로 위험을 분석해야 한다”고 강조했다. 아울러 “구현 단계에서는 인증 수단별 취약 가능성을 전수 조사해 보안 요구사항을 설계에 반영하고, 외부 인증기관과 연동되는 로직은 변조 위험을 전제로 검증해야 한다”고 설명했다. 마지막 운영 단계에서는 “정기적인 모의해킹과 인증 절차 변경 시 사전 검토가 필수”라고 덧붙였다.

유 책임은 “AI와 핀테크는 계속 확산되고 있지만, 그 속도를 따라잡는 보안 체계가 준비되지 않으면 금융 서비스 전체가 위협받을 수 있어, 실질적인 대응책 마련이 필요하다”고 강조했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network