김승주 고려대 교수가 본 ‘AI 보안 내재화의 필수 조건’

“신뢰할 수 있는 AI를 만들려면 먼저 필요한 요구사항부터 정의해야 합니다. 요구사항 분석조차 안 되는데 다른 것을 논해서 무엇을 하겠습니까?”

김승주 고려대학교 정보보호대학원 교수는 7일 경기 성남시 밀리토피아 호텔 바이마린에서 열린 ‘AIDC 보안 기술 워크숍’에서 AI 보안 내재화의 출발점은 “보안 제품이나 도구 도입이 아니라 요구사항을 제대로 정의하는 것”이라고 거듭 강조했다. 김 교수는 이날 ‘AI 보안내재화는 왜 특히 더 어려운가?’를 주제로 발표했다.

‘AI 보안 내재화’가 어려운 2가지 이유

김 교수는 AI 보안 내재화가 어려운 이유로 크게 두 가지를 꼽았다. 첫째는 신뢰할 수 있는 AI를 만들기 위해 여러 영역의 요구사항을 동시에 정의해야 한다는 점이고, 둘째는 서로 다른 요구사항이 충돌하면 무엇을 우선할지도 결정해야 한다는 것이다.

고려대 연구진이 관련 논문과 표준, 지침을 분석한 결과, 신뢰할 수 있는 AI를 구현하려면 보안, 안전, 신뢰성, 투명성, 책임성, 공정성 등을 포함한 8개 축을 함께 고려해야 했다.

김 교수가 강조한 문제점은 각각의 축에서 어떤 요구사항을 뽑아내야 하는지 알려주는 하나의 방법론이 아직은 없다는 점이다. 기존 정보보호 분야에서 사용하는 위협 모델링만 알아서는 부족하다. 그는 “AI 보안 내재화를 하려면 기본적으로 8개 축의 방법론을 다 인지하고 있어야 한다”며 “공부해야 할 게 하나가 아니고 8개라는 게 우리를 어렵게 한다”고 말했다.

두 번째 난제는 서로 다른 요구사항 사이의 충돌이다. 김 교수는 자동차를 예로 들었다. 차량 유리가 깨졌을 때 보안 관점에서는 차량 탈취를 막기 위해 운전 기능을 제한해야 한다고 판단할 수 있다. 반대로 안전 관점에서는 운전자가 위험한 장소에서 빠져나가야 하기 때문에 차량을 계속 움직일 수 있어야 한다.

둘 다 필요한 요구사항이지만 동시에 만족시키기 어려운 상황이다. 이때는 위험도를 분석해 어느 요구사항에 우선순위를 둘 지 결정해야 한다.

김 교수는 “AI에서는 설계 단계에서 이 8개 축의 요구사항을 어떻게 뽑을 것인지, 그 요구사항이 서로 충돌할 때 우선순위를 어떻게 부여할 것인지가 길목을 막는다”며 “우리는 이런 것을 해본 경험이 부족하기 때문에 요구사항 분석 단계에서부터 막히는 것”이라고 설명했다.

AI 보안 내재화, 기존 모의해킹 방식으로는 한계

김 교수는 AI 이전의 소프트웨어 보안에서도 비슷한 문제가 있었다고 짚었다. 완성된 제품을 모의해킹한 뒤 취약점을 발견하면 고치는 방식이다.

그는 “모의해킹은 정해진 기간과 예산 안에서 진행하기 때문에 모든 영역을 검사하기 어렵다”며 “투입하는 사람과 기간, 제공한 정보에 따라 결과가 달라질 수도 있다”고 설명했다. 이어 “더 중요한 건 발견한 취약점은 고칠 수 있지만 발견하지 못했다고 해서 취약점이 없는 것이 아니라는 점”이라고 덧붙였다.

김 교수는 이를 완성된 집에 뒤늦게 수영장을 설치하는 방식에 비유했다. 만약 처음부터 사는 지역이 매우 더운 기후여서 수영장이 필요하다는 요구사항을 파악했다면 집을 설계할 때부터 수영장을 넣을 수 있다. 보안도 개발이 끝난 뒤 기능을 덧붙이는 ‘볼트온 시큐리티(Bolt-on Security)’보다 요구사항 정의부터 설계·개발·검증·배포 전 과정에 포함하는 ‘빌트인 시큐리티(Built-in Security)’로 접근해야 한다는 설명이다.

빌트인 시큐리티를 잘 운영하고 있는 대표적인 기업으로는 마이크로소프트가 있다. 빌 게이츠 당시 마이크로소프트 회장은 2002년 전 직원에게 ‘신뢰할 수 있는 컴퓨팅(Trustworthy Computing)’을 강조했고, 이후 회사는 보안 개발 생명주기(SDL)를 개발 과정에 적용했다. 마이크로소프트는 현재도 SDL을 제품과 서비스 개발의 기본 방법론으로 운영하고 있다.

김 교수는 이 과정에서 특히 중요한 것이 ‘위협 모델링(Threat Modeling)’이라고 강조했다. 제품을 만든 뒤 취약점을 찾는 데 그치지 않고, 설계 단계부터 어떤 공격과 위험이 발생할 수 있는지 분석해 보안 요구사항으로 반영하는 방식이다.

AI에서도 원리는 같다. 다만 고려할 요구사항이 훨씬 많아졌다. 김 교수는 “AI 보안 내재화를 추진할 때 요구사항 정의와 위험도 분류가 선행돼야 한다”고 강조했다. 이어 “요구사항을 어떻게 뽑느냐, 위험도를 어떻게 분류하느냐가 가장 중심이 돼야 한다”며 “기본적인 것이 지켜지지 않은 상태에서는 도구 도입이나 다른 것은 별 의미가 없다”고 말했다.

이번 ‘AIDC 보안 기술 워크숍’은 한국사이버안보학회가 주최하고 한전KDN과 N2SF연구회가 공동 주관했다. 공공 인공지능 데이터센터(AIDC) 구축·보안 전략과 AIDC 특화 보안기술, 공급망 보안, 국가망보안체계(N2SF) 도입 전략 등을 다룬다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network