시큐리티스코어카드, AI 공급업체 계약 시 보안 점검 사항 제시

시큐리티스코어카드(한국 대표 우청하)는 기업이 인공지능(AI) 공급업체를 선정할 때 데이터의 학습 활용 여부와 보유 기간, 기술 역량 등을 점검해야 한다는 내용의 ‘AI 벤더 위험 관리(How to Manage AI Vendor Risk)’ 가이드라인을 국내에 소개했다고 19일 밝혔다.

이번 가이드라인은 기업이 외부 AI 공급업체와 계약하기 전에 확인해야 할 보안 위험 평가 기준과 점검 항목을 담았다. 시큐리티스코어카드는 해당 가이드를 지난 8월 영문으로 공개했다.

시큐리티스코어카드는 기업 내 AI 도구 사용이 확대되면서 보안 조직이 파악하지 못한 ‘섀도우 AI(Shadow AI)’가 위험 요인으로 떠오르고 있다고 설명했다. 섀도우 AI는 기업의 공식적인 승인이나 관리 체계 밖에서 임직원이 AI 도구를 사용하는 현상을 뜻한다.

회사는 보안 조직이 공식적으로 파악한 AI 공급업체가 12곳이지만 실제 사용 중인 AI 도구는 60개에 달하는 사례를 제시했다. 관리 대상에서 빠진 AI 도구가 많아지면 기업 데이터의 처리 경로와 사용 현황을 확인하기 어려워진다는 설명이다.

AI 학습에 기업 데이터 쓰이는지 확인해야

시큐리티스코어카드는 AI 공급업체를 선정하기 전 확인해야 할 기준으로 ▲데이터 흐름과 개인정보 보호 통제 ▲AI 기능과 공급업체의 기술 역량 ▲윤리적 AI와 편향 완화 체계 등 세 가지를 제시했다.

먼저 AI 공급업체가 접근하는 고객정보와 임직원 기록, 규제 대상 데이터의 범위를 파악해야 한다. 해당 데이터가 익명화되는지 확인하고 실제 계약서를 통해 AI 학습 활용 권한과 보유 기간, 재위탁업체 목록 등을 점검할 필요가 있다.

특히 AI 시스템 운영에 필요한 범위를 넘어 모든 데이터를 영구적으로 활용하도록 요구하는 계약 조건은 위험 신호로 판단해야 한다고 강조했다.

공급업체의 AI 기술 역량도 검증 대상이다. 자체 딥러닝 기술과 머신러닝 알고리즘을 운용하는지, 외부 기반 모델을 API로 연결해 서비스를 제공하는 방식인지 확인해야 한다.

실제 도입 사례와 성능 지표, 기술 검증 절차를 확인해 공급업체의 설명과 실제 기능이 일치하는지도 검토해야 한다. 윤리적 AI와 관련해서는 모델의 편향 완화 절차와 학습 데이터 구조, 제3자 감사 여부 등을 점검하도록 권고했다.

계약 이후 모델 변경·규제 대응도 관리

시큐리티스코어카드는 계약 체결 이후에도 AI 공급업체의 보안 위험을 지속적으로 점검해야 한다고 강조했다. AI 시스템은 운영 과정에서 기반 모델이 재학습되거나 데이터 처리 방식과 재위탁업체가 변경될 수 있기 때문이다.

기업은 계약 단계에서 AI 학습 목적의 데이터 사용을 거부할 수 있는지 확인해야 한다. 계약 종료 이후에도 데이터 통제권을 유지할 수 있는지, AI 시스템을 지속적으로 감사할 수 있는지도 살펴봐야 한다.

유럽연합(EU) 인공지능법(AI Act)과 일반개인정보보호법(GDPR) 등 관련 규제에 대한 대응 여부도 평가 항목에 포함된다.

공급업체와의 계약에는 감사 권한과 관련 자료 요구 권한, 규제 요건을 충족하지 못할 경우 계약을 종료할 수 있는 권한 등을 명확히 규정하도록 권고했다.

시큐리티스코어카드는 이러한 지속적인 위험 관리를 지원하는 자사 플랫폼 ‘타이탄 AI(TITAN AI)’도 소개했다. AI 기반 자동화와 위협 정보를 결합해 외부 공급업체와 공급망에서 발생하는 보안 위험을 파악하고 대응 우선순위를 설정할 수 있도록 지원한다.

우청하 시큐리티스코어카드 지사장은 “AI 벤더의 기술과 데이터 처리 방식을 사전에 검증하는 것은 물론, 도입 이후에도 변화하는 위험을 지속적으로 모니터링하는 체계가 필요하다”고 말했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network