고려대 AI보안연구소 출범…“AI 신뢰 연구 거점 만들겠다”

“인공지능(AI) 에이전트에게 일을 맡기려면 성능만 봐서는 안 됩니다. 무엇을 하도록 설계됐는지, 어떤 과정으로 작동하는지 검증해야 합니다. 신뢰가 핵심입니다. 신뢰할 수 있는 AI 생태계를 만들어 가는 게 무엇보다 중요합니다.”

이상근 고려대학교 AI보안연구소장(정보보호대학원·스마트보안학부 부교수)은 3일 서울 고려대학교에서 ‘AI 보안이 여는 AI 신뢰의 미래’를 주제로 열린 ‘고려대학교 AI보안연구소 설립 기념회 및 토론회’에서 이렇게 말했다. 그는 AI보안연구소를 설립한 목적에 대해 “신뢰할 수 있는 AI를 만들고, AI로 안전한 사회를 만드는 데 기여하는 것”이라고 설명했다. 단순히 AI 성능 경쟁을 위한 기술 연구소가 아니라, 사회와 산업이 믿고 쓸 수 있는 AI를 만드는 ‘신뢰 연구의 거점’으로 만들겠다는 것이다.

이 소장은 AI 시대에 보안이 중요해진 배경에 대해 “AI가 단순히 답을 생성하는 도구를 넘어 스스로 판단하고 외부 도구를 호출하며 행동하는 단계로 가고 있다”며 “이제는 잘 작동하는지만으로는 부족하다. 무엇을 하도록 설계됐는지, 실제로 어떤 방식으로 움직이는지, 그 결과를 사람이 통제하고 검증할 수 있는지가 더 중요해졌다”고 설명했다.

이런 흐름에 맞춰 고려대 AI보안연구소는 ▲AI 자체를 보호하는 기술 ▲AI를 활용한 보안 고도화 기술 ▲산업 현장에 적용할 평가·검증 체계 ▲정책과 표준 ▲교육과 생태계 확산 등을 연구한다. 올해는 연구 인프라 구축과 핵심 연구팀 가동을 시작으로 연구·개발, 학술 행사, 산학연 협력 과제, 교육·확산 활동을 본격화할 계획이다. 장기적으로는 AI 기술 보안 연구와 AI 기반 보안 연구, 산업 특화 AI 보안 연구, 시험평가 기능을 아우르며 국내 AI 신뢰 체계를 이끄는 연구 거점으로 자리 잡겠다는 구상이다.

“AI 확산의 전제는 신뢰와 안전 생태계”

이날 첫 발제를 맡은 김명주 인공지능안전연구소장은 ‘신뢰할 수 있는 AI를 만드려면 무엇이 필요한지’를 구체적으로 짚었다. 그는 “고도화된 AI 시대에는 AI 에이전트가 원래 의도한 기능을 수행하는지, 설계한 대로 구현됐는지, 예상하지 못한 부작용은 없는지, 악의적 사용에 얼마나 견디는지를 함께 따져야 한다”고 설명했다.

김 소장은 “AI는 기존 소프트웨어와 같은 잣대로 볼 수 없다”고 했다. 그는 “전통적인 소프트웨어는 발주와 설계, 구현, 검증의 흐름이 비교적 선명하다. 반면 AI는 자율성과 예측 불가능성이 더 크고, 영향도 개인을 넘어 산업과 사회 전반으로 번진다”고 설명했다. 이 때문에 AI를 둘러싼 위험은 단순한 오동작에 그치지 않고 기술적 오류의 위험, 공격자에 의한 악용의 위험, 사회 질서와 제도와 고용 구조까지 흔드는 위험으로 이어진다는 설명이다.

또한 그는 최근 AI 논의가 윤리와 안전, 보안, 신뢰를 함께 다루는 방향으로 이동하고 있다고도 짚었다. 생성형 AI 확산 뒤 저작권과 허위정보, 딥페이크, 모델 악용, 재학습 데이터 오염 같은 문제가 빠르게 불거졌고, 피지컬 AI와 휴머노이드로 영역이 넓어지면서 안전 문제는 더 직접적인 현실 과제가 됐다는 것이다. 그는 “AI가 실세계와 더 강하게 연결될수록 성능 뿐만이 아니라 ‘위험을 통제할 수 있는지’가 더 중요해졌다”고 했다.

그러면서 김 소장은 ‘AI의 지속 가능성’을 언급했다. 지금 세대가 AI가 준 편리함을 누린 다음에 미래 세대에게 오염된 데이터나 불신 등 더 큰 사회적 비용만 남겨서는 안 된다는 것이다.

그는 ”AI가 이미 산업과 정책의 중심으로 들어온 만큼, 지금 신뢰성을 확보하지 못하면 다른 산업으로의 확산 자체가 막힐 수 있다“며 ”AI 3대 강국의 경쟁력 역시 신뢰와 안전 생태계 위에서만 유지될 수 있다“고 강조했다. 아울러 ”AI를 빠르게 키우는 것만으로는 부족하고, 안전하게 오래 쓸 수 있는 기반을 함께 갖춰야 한다“며 ”국내 AI 안전·보안 기업 생태계를 키우고, 국제 평가와 테스트를 수행할 수 있는 기업과 인재도 함께 육성해야 한다“고 덧붙였다.

AI 신뢰, 국가 주도 AI 보안 체계 ‘사이버 실드 돔’으로 준비해야

논의는 “AI 시대 방어 체계를 어떻게 다시 설계할 것인가”로 이어졌다. 김창오 과학기술정보통신부 정보보안 PM은 ‘정부가 바라보는 AI 위협의 현실과 대응 방안’을 소개했다.

그는 “공격자는 이미 AI를 활용하고 있는데, 방어는 여전히 사람 중심 대응에 머물러 있다”며 “취약점은 늘고, 실제 공격에 악용되는 시간은 더 짧아지고 국가 기반시설과 공공 영역을 겨냥한 위협은 더 커지고 있다”고 설명했다. 이어 “사고가 터진 뒤 수습하는 방식만으로 버티기 어렵고, 예측과 선제 차단 중심으로 체계를 다시 짜야 한다”고 진단했다.

김 PM은 올해 RSA 콘퍼런스(RSAC)에서 나온 여러 주제를 언급하며, “이제 보안은 사고 뒤 수습이 아니라 AI 기반 예측과 시나리오 분석으로 미래의 위협을 먼저 읽고 대응하는 방향으로 가야 한다”고 강조했다. 위협 트래픽을 제대로 보고, 자산을 정확히 식별하고, 중요한 자산의 변화를 실시간으로 파악하는 역량이 중요해졌다는 것이다. 그는 지금의 전통 방어 체계가 이미 기술적 한계에 가까워진 만큼, 예측형 보안으로 전환하지 않으면 대응 속도에서 밀릴 수밖에 없다고 봤다.

또한 그는 “AI 에이전트가 공격의 전 과정을 스스로 주도하는 단계에 들어섰다”고도 진단했다. 지금의 AI는 단순히 명령을 받아 처리하는 수준이 아니라, 맥락을 이해하고 필요한 도구를 연결해 움직이는 형태로 발전하고 있다는 것이다. 특히 김 PM은 “AI 시대에는 경계선 보안만으로는 한계가 있다. 아이덴티티 보안과 제로트러스트, 공급망 보안, 자산 가시성, 에이전트 통제를 함께 통합하는 체계가 필요하다”고 강조했다. 이어 “사람이 아닌 비인간 아이덴티티와 에이전트 거버넌스가 더 중요한 보안 과제로 떠오르고 있다“고 덧붙였다.

그러면서 김 PM은 과학기술정보통신부가 추진 중인 ‘사이버 실드 돔’을 AI 시대의 새로운 보안 해법으로 제시했다. 사이버 실드 돔은 이스라엘의 미사일 방어체계인 ‘아이언 돔’에서 착안한 개념으로, 사이버 공간에서도 국가 차원에서 위협을 조기에 탐지하고 여러 기관이 함께 대응하는 다층형 방어 체계를 뜻한다. AI 보안 인프라, AI 보안 데이터, AI 보안 모델, AI 보안 에이전트, AI 보안 거버넌스로 이어지는 5단 케이크의 구조로 구성된다.

김 PM은 “이스라엘이 빅데이터와 AI 기반 분석, 실시간 위협 탐지와 연계 대응 체계를 활용한 ‘사이버 돔’을 운영하고 있다”며 “한국도 유사한 체계를 갖춰야 한다”고 설명했다. 아울러 “국가 전체를 방어하는 내셔널 실드 돔과 기관·지역 단위의 도메인 실드 돔을 구축해야 한다”며 “개별 기관이 따로 대응하는 수준을 넘어, 연합 학습과 군집 대응이 가능한 구조로 AI 보안 체계를 발전시켜야 한다”고 강조했다.

이런 사이버 실드 돔 체계를 완성하기 위해서는 ‘보안 데이터’가 필수적이다. 김 PM은 “지금까지 보안 체계에 대한 논의는 솔루션과 장비 중심으로 흘렀지만, AI 보안의 핵심은 결국 어떤 보안 데이터를 얼마나 잘 확보하고 정제해 활용하느냐에 달려 있다”고 했다. 자산 정보를 실시간으로 식별하고 중요도를 자동 분류하며, 위협 데이터를 정제해 위험 점수로 환산하고, 그 결과를 제로트러스트 정책과 연계하는 구조가 필요하다는 설명이다. 그는 “사이버 실드 돔 체계를 위해서는 보안 데이터 온톨로지와 연합 학습, 맥락 인식형 공격 방어, 에이전트 기반 방어 기술이 꼭 필요하다”고 강조했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network