과기정통부·KISA, AI 보안 위협 대응 가이드 2종 발간

과학기술정보통신부(이하 과기정통부)와 한국인터넷진흥원(KISA)은 인공지능(AI) 서비스의 보안 위협을 점검하고 대응할 수 있도록 ‘AI 보안 위협 대응 매뉴얼’과 ‘AI 보안 레드티밍 가이드’를 발간했다고 8일 밝혔다.

두 가이드는 프롬프트 인젝션과 권한 오남용, 데이터 유출 등 AI 환경에서 발생할 수 있는 위협을 정리했다. 기업이 공격자 관점에서 취약점을 점검하고 대응 방안을 마련할 수 있도록 진단 기준과 레드팀 운영 절차도 담았다.

AI 레드팀은 AI 모델에 의도적으로 문제가 되는 행동을 유도해 취약점과 위험을 찾는 조직이다. 기존 정보보호 점검만으로 확인하기 어려운 AI 모델과 데이터, 에이전트의 보안 문제를 공격자 관점에서 검증한다.

‘AI 보안 위협 대응 매뉴얼’은 AI 보안 위협을 데이터와 모델, 에이전트, 공급망, 고성능 모델 위협 등으로 구분했다. 금융과 의료, 공공·행정, 교육, 제조·에너지, 통신, 법률, 정보기술(IT) 등 8개 분야에서 발생할 수 있는 위협 시나리오도 제시했다.

경영진은 AI 보안 위협의 유형과 사고 사례를 확인할 수 있다. AI 보안 담당자와 IT 운영자는 위협을 진단하고 대응하는 데 필요한 기준과 조치 방안을 참고할 수 있다.

‘AI 보안 레드티밍 가이드’는 레드팀 기획과 구성, 점검 준비, 레드티밍 수행, 결과 보고까지 운영 전 과정을 설명한다. 현장에서 사용할 수 있는 레드티밍 체크리스트와 점검 도구, 레드팀 인력 직무기술서도 포함했다.

과기정통부와 KISA는 민간기업의 AI 보안 담당자와 레드티밍 전문기업 관계자의 의견을 반영해 가이드를 마련했다고 설명했다. 학계 전문가의 자문도 거쳤다.

레드티밍 가이드는 AI 레드티밍 국제표준안 ‘ISO/IEC 42119-7’을 기반으로 구성했다. 정부는 국내 기업이 국제적으로 통용되는 기준에 맞춰 AI 보안 점검 체계를 마련할 수 있도록 했다고 밝혔다.

임정규 과기정통부 정보보호네트워크정책관은 “AI 기술의 확산과 함께 보안 위협도 빠르게 진화하고 있다”며 “이번 가이드가 AI 서비스의 보안 수준을 높이고 현장에서 활용할 수 있는 기준이 되기를 기대한다”고 말했다.

이어 “AI 보안 레드팀 사업을 통해 공격 시나리오와 적용 분야를 확대하고 최신 AI 기술과 동향을 반영해 가이드와 검증 체계를 고도화하겠다”고 밝혔다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network