금융보안원, 금융 AI 안전성·신뢰성 평가체계 개발…내년 평가 시작
금융보안원은 금융회사가 사용하는 인공지능(AI)의 안전성과 신뢰성을 점검하는 ‘금융 AI 안전성·신뢰성 평가 프레임워크’를 개발했다고 12일 밝혔다. 금융회사를 대상으로 올해 시범 검증을 거쳐 2027년부터 평가 업무를 시작할 계획이다.
이번 프레임워크는 금융권의 AI 활용이 핵심 업무까지 확대되면서 발생할 수 있는 AI 환각과 오작동, 보안사고 등을 기술적으로 점검하기 위해 마련됐다. AI 환각은 모델이 사실과 다른 내용을 사실처럼 생성하는 현상을 뜻한다.
평가 기준은 ‘금융 AI 신뢰성’ 4개 항목과 ‘금융 AI 안전성’ 6개 항목으로 구성됐다. 신뢰성 분야에서는 ▲모델 성능 관리 ▲데이터 품질 관리 ▲공정성·편향성 ▲설명가능성을 평가한다. AI 모델이 정해진 성능을 유지하는지와 활용 데이터의 정확성을 확인하고 모델의 편향, 이용자에게 AI 의사결정 과정을 설명할 수 있는지도 점검한다.
안전성 분야는 ▲AI 특화 보안위협 ▲AI 특화공격 탐지·대응 ▲AI 자산 보호관리 ▲외부 모델·데이터 검증 ▲기존 보안관리 확장 적용 ▲보안 검증·운영관리 등으로 구성됐다. 외부에서 가져온 AI 모델과 데이터의 안전성을 검증하는지, AI 공급망에서 발생할 수 있는 보안위험을 관리하는지도 평가 대상이다.
금융보안원은 국내외 주요 AI 평가체계와 규제를 분석해 평가 항목을 만들었다. 금융위원회의 ‘금융분야 인공지능 가이드라인’을 비롯해 국제표준화기구(ISO) 관련 기준과 오픈월드와이드애플리케이션보안프로젝트(OWASP)의 AI 시험 지침 등을 참고했다.
금융보안원은 오는 14일 금융회사를 대상으로 온라인 설명회를 열고 9월 중 수요조사를 진행한다. 하반기에는 실제 금융회사를 대상으로 시범 검증에 나선다. 내년에는 금융보안원 대의원사를 대상으로 먼저 평가한 뒤 운영 안정화 이후 확대 여부를 검토한다.
이번 프레임워크를 인공지능기본법에 따른 AI 안전성·신뢰성 검증·인증 체계로 활용하는 방안도 추진한다.
박상원 금융보안원 원장은 “AI 서비스의 잠재적 위험을 실질적으로 평가할 수 있도록 기술 평가 항목을 강화했다”며 “금융권의 표준 프레임워크로 발전시켜 안전하고 신뢰할 수 있는 AI 활용을 지원할 계획”이라고 말했다.
글. 바이라인네트워크
<곽중희 기자>god8889@byline.network
