카카오페이 이상거래 탐지 시스템 진화기

카카오페이는 전 국민이 쓰는 서비스 중 하나다. 총 가입자 수는 4000만명, 월간 활성 이용자수(MAU)는 2400만명, 일간 활동 사용자 수(DAU)는 635만명이다. 연간 거래액은 167조원이다. 

이렇게 많은 이들이 쓰는 금융 서비스에는 안정성이 중요하다. 이를 위해 카카오페이는 이상거래 탐지 시스템(FDS), 자금세탁방지 시스템(AML), 어뷰징 탐지 시스템(ADS) 3가지를 활용한다.

카카오페이 리스크관리플랫폼팀 이윤석 팀장은 지난 9월 26일 <바이라인네트워크>가 서울 강남구 과학기술회관에서 개최한 ‘2025 금융테크 컨퍼런스’에서 고객경험을 위한 카카오페이의 FDS 시스템의 진화기를 설명했다.

ADS와 함께, 확장된 FDS를 구축한 카카오페이는 리스크 가능성이 있는 데이터를 모아, 일반적인 시스템 내에서 추측하기 어려운 신종 사기 패턴까지 막아내겠다는 계획이다. 카카오페이의 이상거래 탐지 시스템(FDS)는 매월 약 3억3000만건을 처리한다.

FDS를 발전시키기 위해 카카오페이는 ▲대응 속도 ▲고객경험 ▲관리 영역 확장 3가지 기술적 관점에 주목했다. 

대응 속도에 대해 이 팀장은 “인간의 수동적인 대응 속도로는 진화하는 위협을 따라가기 어렵다”고 짚었다. 일반적인 FDS 시스템은 새로운 사고가 발생했을 때 운영자가 사고 패턴을 모니터링하고 탐지 룰 조건을 수정하면서 이상거래를 탐지한다.

빠르게 변화하는 사고 트렌드에 대응하기 위해, 카카오페이는 어댑티브 머신러닝을 구현했다. 위협이 발생하면 시스템이 이를 스스로 학습하고 대응책을 업데이트해 인간 개입 없이도 진화하는 위협 속도를 따라잡기 위해서다. 

어댑티브 머신러닝에 대해 이 팀장은 “머신러닝 파이프라인을 통해 새로운 사기 데이터가 발생하면 모델이 자동으로 재학습하는 지속적인 학습 환경과 모델 재학습 전 코드 데이터 자체가 실시간으로 위험도를 반영하는 자가 적용 피처 두 가지 기술을 결합했다”고 설명했다. 이 두 가지가 작동하기 위해 카카오페이는 피드백 오프 완성, 거대 규모 피처 데이터셋 구성, ML 로스 환경 구현에 집중했다. 

어댑티브 머신러닝에 대한 성과도 공개했다. 이 팀장은 “신규 공격 패턴이 발생했을 때 변화를 학습하지 못하는 정적 모델은 탐지율이 33%까지 떨어지는 반면, 어댑티브 모델은 아주 짧은 재학습 시간을 거친 후 즉시 새로운 패턴을 적용해 탐지를 95% 이상으로 끌어올린다”고 밝혔다. 

고객 경험도 하나의 과제다. 이 팀장은 “탐지 모델을 강하게 할수록 수많은 일반 고객의 거래까지 불편하게 만드는 딜레마에 빠지게 된다”고 말했다. 

고객 경험을 유지하기 위해 카카오페이는 AI 탐지가 서비스 지연을 발생시키지 않고 실시간 거래 흐름 속에서 응답 속도를 보장하면서 요청 처리량을 해치지 않도록 구조를 개선했다. 기존에는 AI 탐지를 FDS 룰 내에서 간접적인 통계적 산출값으로 이용해 구조 내에서 직접 AI 탐지를 이용하기 어려운 상황이었다. 

또 지난 10년간 축전한 사고 패턴을 바탕으로 명확하게 알려진 위험 패턴을 차단하는 특성을 유지하면서, 동시에 최적화 작업을 진행했다. 새로운 위험 패턴을 예측하고 복합적인 관계 속 이상 징후를 발견할 수 있는 능력을 키워 하이브리드 시스템을 만들고자 했다. 그 결과, 카카오페이의 하이브리드 모델은 기존 롤 중심 시스템에 비해 탐지 정밀도를 20배 향상시키며, 기존 탐지율을 유지하고 있다고 이윤석 팀장은 말했다.

마지막 도전은 ‘관리 영역 확장’의 문제다. 카카오페이 서비스가 성장함에 따라 기존 거래에만 국한된 전통적인 FDS의 정의를 넘어 가입, 인증, 결제, 송금 정보 조회 등 이용자의 금융 정보 전체를 보호해야 하는 상황이 됐다. 

카카오페이의 결론은 어뷰징 탐지 시스템이다. 이 팀장은 “FDS 개념 자체를 진화, 고객 보호를 더 다양한 차원에서 하기 위해 리스크 관리 영역을 높이는 차원에서 어뷰징 탐지 시스템(ADS)를 구축했다” 고 설명했다. 거래 외 영역에서 고객 서비스 이용 시 발생 가능한 비용을 완화하기 위해 탐지 패턴을 정책이나 유형 수준에 따라 액션을 수행한다. 

예를 들어 FDS는 결제 시도가 있을 때 인증 또는 거절을 통해 거래를 완료한다면, ADS는 거래가 일어나기 전 이용자가 결제를 위해 새로운 카드 등록을 할 때 탐지하고 리스크 정책이나 위험 수준에 따라 인증을 수행하거나 고객에게 위험을 알려준다. 

카카오페이는 고객 금융 여정 전반을 보호하는 체계를 갖춘 것을 넘어, 고도화된 사기 패턴까지 잡아낸다는 목표를 세웠다. 예를 들어 평범한 접속, 소액 결제의 반복, 상품 구매와 같은 행동이 합쳐졌을 때 신종 사기의 징후가 될 수 있기 때문이다. 이 팀장은 “ADS를 포함해 확장된 FDS를 기반으로 삼아 모든 리스크 데이터를 하나로 묶어 관제할 수 있는 리스크 통합 플랫폼으로 성장시키고자 한다”고 말했다. 

글. 바이라인네트워크
<성아인 기자> aing8@byline.network