국정원, 레드티밍·안전성 평가로 공공기관 AI 검증한다

국가정보원(원장 이종석)이 공공기관의 인공지능(AI) 도입·활용 전반을 ‘레드티밍’과 ‘안전성 평가’로 검증하는 체계를 마련한다. 공공기관에 구축된 AI 시스템과 인프라는 공격자 관점에서 접근해 취약점을 찾고, AI 모델은 사이버보안과 화학·생물학·방사능·핵·폭발물(CBRN-E), 국가 핵심시설 등과 관련한 유해 답변을 내놓는지 평가하는 방식이다.

국정원 국가인공지능안보센터는 17일 서울 강남구 코엑스에서 열린 ‘사이버 서밋 코리아(CSK) 2026’에서 이 같은 국가 AI 안보 정책을 발표했다.

공공이 쓰는 AI 92%, 별도 보안 조치 없어…“레드티밍 필요”

국정원이 올해 2월부터 4월까지 290개 기관의 AI 시스템 770개를 조사한 결과, 92%는 별도의 보안조치 없이 사용되고 있었다. 76%는 학습데이터 처리를 외부에 맡겼고, 33%는 민감정보나 기밀정보를 처리했다. 도입된 모델 가운데 오픈소스 모델의 비중도 56%에 달했다.

AI 레드티밍은 공격자 관점에서 AI 시스템의 취약점을 찾는 보안 점검 방식이다. 악의적인 명령으로 안전장치를 우회하거나 비공개 정보와 유해 콘텐츠를 출력하도록 유도해 실제 공격 가능성을 확인한다. 같은 AI 모델이라도 연결된 데이터와 외부 도구, 이용자의 접근권한에 따라 위험이 달라지기 때문에 기존 소스코드 검사나 취약점 진단만으로는 한계가 있다는 게 국정원의 설명이다.

국정원은 올해 처음으로 공공기관 AI 시스템에 특화한 레드티밍을 시작했다. 신청 기관 가운데 17곳을 선정했으며 현재 10곳의 점검을 마쳤다. 점검 인력이 기관을 방문해 3~4일 동안 AI 모델뿐 아니라 서버와 통신구간, 벡터 데이터베이스(DB), 접근권한, 파일 업로드 과정, 입출력 필터와 가드레일까지 살펴보는 방식이다.

점검 결과 입출력 필터를 적용하지 않았거나 간단한 표현 변경만으로 필터를 우회할 수 있는 사례가 다수 확인됐다. 이용자의 대화 세션을 구분하는 식별값을 바꿔 다른 사람의 대화 내용을 열람하거나 변조할 수 있는 문제도 발견됐다.

파일 형식을 제대로 검사하지 않아 확장자만 바꾼 악성파일을 업로드할 수 있는 사례도 있었다. 프롬프트 인젝션을 통해 운영체제와 하드웨어, DB 등 시스템 구성정보가 노출되거나 마약 제조법과 같은 유해 정보가 생성되기도 했다.

국정원은 입력과 출력 단계의 필터, 통신구간과 대화 세션 보호, 업로드 파일과 외부 데이터 검사를 함께 적용해야 한다고 설명했다. 하나의 필터에 의존하지 않고 모델의 안전장치와 별도 가드레일, 접근통제를 겹쳐 적용하는 다중 방어가 필요하다는 것이다.

레드티밍도 도입 전 일회성 점검에 그쳐서는 안 된다고 봤다. 거버넌스와 사전 검증, 실행 단계의 가드레일, 보안관제를 연결해 서비스 운영 중 발견되는 새로운 공격까지 지속해서 관리해야 한다는 설명이다.

국정원은 오는 12월 공공기관이 자체적으로 AI 보안성을 점검할 수 있도록 레드티밍 절차와 자동화 도구 사용법 등을 담은 가이드라인을 배포한다. 공공 AI의 입출력 필터링과 로그 기록 방안은 ‘AI 보안 플레이북’에 반영할 계획이다.

AI 모델은 국가안보 관점에서 별도 ‘안전성 평가’ 진행

레드티밍과 별도로 국정원은 AI 모델 자체의 국가안보 위험성을 점검하는 안전성 평가체계도 마련한다. 레드티밍이 공공기관에 구축된 AI 시스템 전체의 취약점을 현장에서 찾는 작업이라면, 안전성 평가는 도입 대상 모델이 국가안보를 위협할 수 있는 답변을 얼마나 생성하는지 측정하는 것이다.

국정원은 인공지능안전연구소(AISI)와 협력해 국가안보 분야의 자체 평가 데이터셋을 구축했다. 평가 분야는 ▲CBRN-E ▲사이버보안 ▲국가 핵심시설 ▲허위정보 등이다. 시스템 해킹과 역공학, 포렌식, 네트워크 공격을 비롯해 원전 등 주요 시설의 민감정보와 고위험 장비의 제원 등을 요구했을 때 모델이 답변을 거부하는지 확인한다.

평가는 미리 정한 질문을 입력하는 벤치마크와 질문을 바꿔가며 안전장치를 우회하는 레드티밍을 함께 사용한다. 한 번의 질문으로 우회를 시도하는 싱글턴 방식과 여러 차례 대화를 이어가며 요청 수위를 높이는 멀티턴 방식이 모두 포함된다.

최근 국정원이 한 안전성 평가 결과에 따르면, 모델과 프로그래밍 언어에 따라 안전성에 차이가 나타났다. 일부 오픈웨이트 모델은 사이버보안 분야의 유해 요청을 거부하는 비율이 상대적으로 낮았다. 국정원은 오픈웨이트 모델의 사이버 능력이 프론티어 모델을 빠르게 따라가면서 악용 위험도 커지고 있다고 분석했다.

모델 앞단에서 유해한 입력과 출력을 차단하는 가드레일의 효과도 확인됐다. 국정원에 따르면, 가드레일을 적용하지 않은 실험에서는 평균 75%가 취약한 응답을 내놓았다. 가드레일을 적용한 뒤에는 방어율이 최대 99.9%까지 높아졌다. 다만 제품별로 탐지 정확도와 처리 속도에 차이가 있어 입력과 출력 단계에 서로 다른 가드레일을 배치하는 복합 전략이 필요하다고 봤다.

평가 대상은 AI 에이전트와 멀티모달 AI까지 확대한다. 국정원은 올해 말까지 대규모언어모델(LLM)과 가상환경, 모델 컨텍스트 프로토콜(MCP) 도구가 결합된 AI 에이전트의 안전성 평가기술을 연구한다. 이미지 생성 AI가 가짜 재난 사진이나 신분증 등 안보 위해 콘텐츠를 만드는 위험을 점검할 평가 데이터셋도 개발할 계획이다.

2027년에는 공공기관과 민간 화이트해커가 AI 모델을 시험할 수 있는 테스트베드를 구축한다. 같은 해 AI 모델과 데이터셋, 외부 라이브러리 등 공급망 구성요소의 검증 기준을 마련하고, 2028년에는 실증사업을 추진할 예정이다. 국가안보 분야의 모델별 안전성 평가 결과와 위협 정보는 공공기관과 공유한다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network