“AI 탈옥은 시작일 뿐”…AI안전연구소가 ‘국가 AI 위험지도’를 그리는 이유
김명주 인공지능안전연구소(AISI) 소장 인터뷰
“사이버보안 분야는 생각보다 더 빨리 왔습니다.”
김명주 인공지능안전연구소(AISI) 소장은 바이라인네트워크와의 인터뷰에서 최근 인공지능(AI)의 사이버보안 능력이 빠르게 발전하는 상황을 이렇게 표현했다. 김 소장이 보는 AI의 위험성은 이제 개별 해킹 사고를 넘어선다. AI가 국가 안보와 사회 시스템을 흔들 수 있는 수준의 위험으로 커질 가능성까지 대비해야 한다는 것이다.
김 소장은 AI 위협이 극대화될 수 있는 분야로 세 가지를 꼽았다. ▲AI를 활용한 대규모 사이버 공격 ▲생물·화학무기 같은 대량살상무기 개발 지원 ▲딥페이크와 가짜뉴스 확산으로 사회적 신뢰가 무너지는 문제다. 이 가운데 사이버보안 분야가 가장 먼저 현실적인 위험으로 다가왔다는 게 그의 판단이다. 최근 프론티어 AI 모델은 단순 코드를 만드는 수준을 넘어 취약점을 찾고 실제 공격을 수행하는 정도까지 능력을 갖췄다. 일부 모델의 안전성을 평가하는 과정에서는 AI가 허용 범위를 벗어나 외부 시스템에 접근하는 사례도 나타났다.
김명주 소장은 서울대 컴퓨터공학과에서 학·석·박사 학위를 받은 뒤 서울여대 정보보호학부 교수로 재직해온 보안·AI 윤리 분야의 전문가다. 바른AI연구센터장과 AI윤리정책포럼 위원장 등을 거쳐 2024년 11월 AISI 초대 소장으로 임명됐다.
AI 위험, 모델 출시 전에 시작됐다
AISI는 최근 발생한 프론티어 AI의 탈옥 사건에 대해 결과만큼이나 ‘언제 문제가 발생했는가’에 주목하고 있다. 지금까지 AI 위험은 기업이 모델을 출시한 뒤 이용자가 사용하면서 나타나는 문제로 여겨졌다. 하지만 최근 사례는 모델을 개발하고 시험하는 단계에서도 위험이 발생할 수 있다는 점을 보여줬다.
김 소장은 “예전에는 AI 개발사가 모델을 만들어 테스트를 끝내고 이용자가 쓰기 시작하는 순간부터 위험이 생기는 것으로 봤다”며 “하지만 이제는 출시 전 테스트 과정에서 문제가 생겼기 때문에 위험 관리 시점을 개발과 테스트 단계까지 앞당겨야 한다”고 강조했다.
AI 모델의 능력을 확인하는 평가 과정은 일반 이용자가 쓰는 서비스와 다르다. 범용 AI에는 악성코드 제작이나 위험물 제조법처럼 위험한 요구를 차단하는 ‘가드레일(Guardrail, 안전장치)’이 붙는다. 하지만 모델이 실제로 어느 정도 사이버 공격 능력을 갖췄는지 평가하려면 이런 안전장치를 일부 해체해야 한다. 이런 경우 보통은 외부와 격리한 시험 환경인 ‘샌드박스(Sandbox)’를 만들어 AI가 현실의 시스템에 영향을 주지 못하도록 한다. 하지만 문제는 사람이 생각하는 ‘격리된 공간’이라는 개념을 AI도 똑같이 받아들이지는 않는다는 점이다.
김 소장은 “사람에게는 이것이 샌드박스이고 저것은 인터넷이라는 구분이 있지만 AI 입장에서 보면 모두 소프트웨어”라며 “AI는 취약점이 있으면 자신이 풀어야 할 문제의 대상으로만 인식한다”고 설명했다.
그는 최근 발생한 AI의 탈옥 사례들을 AI가 갑자기 자아를 갖고 인간의 통제를 깨뜨린 사건처럼 해석하면 안 된다고 봤다. 실제로는 평가 환경을 충분히 격리하지 못했거나 네트워크 설정에 문제가 있었던 경우도 있기 때문이다.
물론 그렇다고 위험성이 작다는 의미는 아니다. 김 소장은 “출시 전 테스트 과정에서 AI를 너무 얕잡아 본 측면이 있다”며 “사람이 샌드박스를 만들었다고 생각하는 것과 AI가 실제 그 경계를 넘어설 수 없도록 기술적으로 구현한 것은 다른 문제”라고 말했다.
김 소장은 사람에게 업무를 맡기는 방식 그대로 AI 에이전트를 다뤄서는 안 된다고 강조했다. 사람에게 “일주일 뒤까지 제안서를 만들어 달라”고 지시하면서 다른 사람의 계정을 훔치거나 회사 서버를 해킹해서는 안 된다고 일일이 설명하진 않는다. 법과 조직의 규율, 사회적 규범처럼 말하지 않아도 아는 전제가 있기 때문이다. 하지만 AI는 다르다.
김 소장은 “사람과 사람 사이에는 말하지 않아도 알고 있는 불문율이 있지만 AI에는 그것이 없다”며 “목표를 주면 이를 달성하기 위해 사용할 수 있는 방법을 활용한다”며 “따라서 AI 에이전트에는 처음부터 업무에 필요한 최소한의 권한만 줘야 한다. 수행할 업무와 접근할 수 없는 영역도 구체적으로 정하고, 실제 행동을 계속 감시해야 한다”고 말했다.
이어 그는 “원래 업무에 필요하지 않은데 AI가 새로운 계정을 만들거나 전화번호를 구하려 한다면 그 행동이 위험한지 판단하기 전에 허용한 범위를 벗어났다는 점을 봐야 한다”며 “일단 행동을 중단하고 권한을 제한해야 한다”고 설명했다.
만약 걷잡을 수 없을 정도로 위험이 커지면 AI 시스템 자체를 꺼 버리는 ‘킬스위치(Kill Switch·비상정지 기능)’도 필요하다. 김 소장은 킬스위치를 단순히 전원을 끄는 기능으로만 보지 않았다. AI가 사용할 수 있는 계정이나 도구의 권한을 단계적으로 회수하고, 통제가 되지 않을 경우 시스템을 중단시키는 과정까지 포함한다. 특히 그는 “AI 시스템이 장애나 공격 이후 스스로 정상 상태로 돌아오는 ‘회복탄력성’까지 갖추게 되면 킬스위치 기능과 충돌해 AI가 스스로 부활할 가능성도 고려해야 한다”고 강조했다.
아울러 김 소장은 “AI가 수행하는 업무보다 킬스위치 기능의 우선순위가 낮으면 제대로 작동하지 않을 수 있다”며 “비상정지 권한은 다른 어떤 업무보다 앞서는 0순위여야 한다”고 덧붙였다.
그는 앞으로 기업이 AI에 안전장치를 구현했다고 밝혔을 때 실제로 제대로 작동하는지 제3자가 확인하는 역할도 AISI가 맡아야 한다고 했다. 문제가 있어서 기업이 알아서 고쳤다고 밝히는 데서 평가를 끝내서는 안되고, 실제로 고쳐졌는지를 검증하는 것이 AISI가 맡아야 하는 역할이라는 설명이다.
해킹대회 넘어 공격코드·패치까지 평가
AISI가 현재 맡고 있는 핵심 업무 가운데 하나는 AI의 능력이 얼마나 위험한지를 평가하는 것이다. 사이버보안 분야에서는 AI가 어느 정도 공격 능력을 갖췄는지를 측정하고 있다. 이전에는 해킹대회에서 사용하는 ‘깃발 뺏기(CTF·Capture The Flag)’ 문제를 AI에 풀도록 하는 방식이 대표적이었다. 시스템의 취약점을 찾아 정답에 해당하는 값을 획득하는 방식이다. 그러나 최신 AI의 성능이 빠르게 높아지면서 기존 문제만으로는 모델의 능력 차이를 확인하기 어려워지고 있다.
김 소장은 “요즘 프론티어 AI들은 기존의 CTF 문제를 거의 다 푸는 수준까지 왔다”며 “그래서 그 다음 단계로 더 복잡한 문제를 만들고 있다”고 설명했다.
평가 범위도 넓어지고 있다. 취약점을 발견할 수 있는지에서 끝나지 않는다. 발견한 취약점을 실제 공격할 수 있는 ‘익스플로잇 코드(Exploit Code·취약점 공격 코드)’를 만드는 능력까지 살펴본다. 해외에서는 AI가 다시 해당 취약점을 고칠 수 있는 패치까지 만들어내는지도 평가하고 있다.
김 소장은 “취약점을 찾고, 공격 코드를 만들고, 다시 패치를 만드는 과정을 단계별로 시뮬레이션해 AI에 테스트하는 방향으로 가고 있다”고 말했다.
한국 환경에 맞는 평가 기준도 만들고 있다. 같은 AI 모델이라도 영어와 한국어 환경에서 능력 차이가 나타날 수 있기 때문이다. 김 소장은 “영어로 평가하면 높은 점수를 받는데 한국어로 하면 점수가 크게 떨어지는 경우가 있다”며 “한국어와 국내 환경을 반영한 벤치마크를 만드는 작업도 중요하다”고 설명했다.
AISI는 사이버보안 외에도 AI 에이전트의 안전성도 시험하고 있다. 싱가포르 인공지능안전연구소와는 실제 기업 업무와 비슷한 환경에서 AI 에이전트의 데이터 유출 위험을 평가하기도 했다. 고객 서비스와 인사 업무처럼 여러 단계의 판단과 도구 사용이 필요한 상황에서 AI가 민감한 정보를 어떻게 처리하는지를 살펴보는 방식이다. AI의 능력이 올라갈수록 평가도 단순한 ‘문답 시험’에서 실제 행동을 지켜보는 쪽으로 바뀌고 있는 셈이다.
사이버보안 그 다음은 생화학무기·가짜뉴스
국가 차원에서 주목해야 할 AI 위험이 사이버보안 분야에만 있는 것은 아니다. 생물학과 화학도 주요 위험 분야다. AI는 신약의 후보물질을 찾거나 새로운 분자를 설계하는 과학 연구를 빠르게 할 수 있다. 같은 능력이 반대로 독성이 강한 물질이나 위험한 생물학적 정보를 찾는 데 쓰일 가능성도 있다.
김 소장은 “AI가 과학 분야에서 새로운 물질을 찾고 만드는 데 활용되고 있는데 좋은 쪽으로 쓰면 유용하지만 위험한 물질을 찾는 데도 같은 능력을 사용할 수 있다”며 “과학 분야에서 AI 사용이 늘수록 위험 관리도 함께 가야 한다”고 말했다.
특히 생물·화학 분야는 일부 재료에 일반인이 접근할 수 있다는 점에서 위험성이 크다고 봤다. 과거에는 전문지식을 갖춘 사람만 접근할 수 있던 정보를 AI가 쉽게 설명하고, 안전장치를 우회하는 ‘탈옥’까지 결합하면 위험한 지식에 접근하는 문턱이 낮아질 수 있기 때문이다.
김 소장은 한국의 안보 환경을 고려하면 이런 위험을 더 적극적으로 연구할 필요가 있다고 강조했다. 사이버 공격뿐 아니라 생물·화학 분야의 AI 활용 가능성도 국가안보 관점에서 살펴봐야 한다는 설명이다.
또 다른 위험은 ‘가짜 정보로 인한 사회적 신뢰의 붕괴’다. AI가 만드는 이미지와 영상, 음성이 현실과 구분하기 어려워지면 피해는 특정 개인에게 그치지 않는다. 선거와 언론, 금융거래처럼 구성원 사이의 신뢰가 있어야 작동하는 사회 시스템 자체가 영향을 받을 수 있다.
김 소장은 “국가도 하나의 사회 시스템이고 사회는 구성원 사이의 신뢰가 전제돼야 한다”며 “AI 때문에 진짜와 가짜의 구분이 무너지면 사회 전체의 신뢰가 흔들릴 수 있다”고 말했다.
사이버보안과 생화학, 가짜정보는 서로 다른 위험처럼 보인다. 하지만 AI가 기존 위험의 속도와 규모, 접근성을 동시에 바꿀 수 있다는 점에서는 연결돼 있다는 게 김 소장의 판단이다. 그는 “AISI가 개별 AI 모델의 안전성만 평가하는 기관에 머물 수 없는 이유가 여기에 있다”고 강조했다.
아직 터지지 않은 위험까지…AISI가 그리는 ‘국가 AI 위험지도’
김 소장은 특히 “아직 현실에서 나타나지 않은 AI 위험을 미리 찾아야 한다”고 했다. AISI는 현재 ‘국가 AI 위험지도’를 만드는 작업을 진행하고 있다. 초안은 거의 완성됐다.
국가 AI 위험지도는 AI 때문에 어떤 위험이 발생할 수 있는지를 먼저 찾고, 그 원인과 예상 피해를 연결한다. 어떤 주체가 위험을 일으킬 수 있는지도 살펴본다. 실제 사고가 발생했을 때 어느 정부 부처와 기관이 대응할지도 함께 정리한다.
김 소장은 “이미 나타난 위험뿐 아니라 아직 나타나지 않은 위험도 어떻게든 빨리 찾아야 한다”며 “원인이 무엇인지, 어떤 피해가 생길 수 있는지, 문제가 발생했을 때 어느 부처와 조직이 맡을지를 국가가 지도처럼 한눈에 보고 의사결정을 할 수 있도록 체계를 갖추고 있어야 한다”고 말했다.
국가 AI 위험지도가 필요한 이유에 대해 그는 “AI 위험은 어느 한 정부 부처에만 속하지 않기 때문”이라고 했다. 사이버 공격은 전담 기관이 어느정도 대응할 수 있겠지만, AI가 의료나 노동, 교육, 정신건강 분야에서 문제를 일으키면 담당 기관이 달라진다. 생물·화학이나 가짜정보처럼 여러 기관의 대응이 동시에 필요한 사고도 생길 수 있다.
국가 AI 위험지도가 만들어지면 각 기관이 맡은 AI 위험에 얼마나 대비하고 있는지도 살펴볼 수 있다. 김 소장은 이를 바탕으로 장기적으로 국가 전체의 AI 위험 수준이나 국민이 체감하는 AI 사회의 안전도를 지표화하는 방안도 구상하고 있다.
다만, 김 소장은 AISI가 이런 중요한 역할을 맡으려면 현재 조직의 위상과 인력에 대한 고민도 필요하다고 봤다. 그는 “AI가 국방과 산업, 의료, 교육, 노동 등 정부 여러 영역에 영향을 미치기 시작한 만큼 AISI도 장기적으로 이에 맞는 역할과 위상을 갖춰야 한다” 짚었다. 이어 “국가 AI 위험지도를 만들어 각 부처에 역할을 나누고 대응 상황까지 살펴보려면 현재 위치에서는 쉽지 않은 부분이 있다”며 “AI가 모든 분야에 영향을 주는 만큼 전체 정부 차원에서 볼 수 있는 체계가 필요하다”고 말했다.
해외에서도 AI 안전을 책임지는 기관의 역할은 점점 커지고 있다. 영국은 AI 안전기관을 중심으로 첨단 AI의 능력과 위험을 연구하고 평가하며 국제 공조를 확대하고 있다. 일본 등 주요국도 AI 안전 평가 역량과 인력을 늘리는 추세다.
김 소장은 국제 AI 안전 협력에서도 자체 평가 역량이 중요하다고 강조했다. 다른 나라의 기술을 배우는 데 그치지 않고 한국도 직접 벤치마크를 만들고 평가한 결과를 갖고 국제 논의에 참여해야 한다는 의미다.
최근 AISI는 이미 나타난 위험을 평가하는 것뿐 아니라 아직 존재하지 않는 사고를 상상하는 연구도 시도하고 있다. 김 소장은 소설가와 인문·사회 분야 전문가를 AI 위험 연구에 참여시키는 방안도 제안했다. 현재 AI 기술을 토대로 미래 사회에서 벌어질 수 있는 위험을 구체적인 시나리오로 만들고, 이를 평가와 정책 설계에 활용한다는 구상이다. 김 소장은 이를 ‘윤리적 상상력’이라고 표현했다. 그는 “안전 분야에서는 상상력이 중요하다”며 “윤리적 상상력이 구체적일수록 앞으로 나타날 부작용과 역기능을 줄일 수 있다”고 설명했다.
김 소장은 “상상력은 결국 시간을 버는 작업”이라며 “지금 상상하지 않으면 위험이 현실이 됐을 때 대응해야 하는데 그때는 이미 늦을 수 있다”고 말했다. 이어 “사고가 발생한 뒤 ‘이제부터 하겠다’고 해서는 안 된다”며 “사건이 생겼을 때 이미 플랜A, B, C를 다 갖고 있어야 한다. 결국 우리 AI안전연구소가 해야 할 일은 이를 최대한 빨리 준비하는 것”이라고 강조했다.
인공지능안전연구소(AISI)는 2024년 11월 출범한 국내 AI 안전 전문 연구기관이다. AI 서울 정상회의를 계기로 정부가 설립했으며 현재 한국전자통신연구원(ETRI) 산하에서 AI 모델의 안전성 평가와 위험 분석, 안전기술 연구, 국제 협력 등을 맡고 있다. 2026년 1월 시행된 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능기본법)’ 제12조는 AISI 운영 근거를 별도로 명시했다. AI에서 발생할 수 있는 위험으로부터 국민의 생명과 신체, 재산을 보호하고 AI 사회의 신뢰 기반을 조성하는 것이 목적이다. 현재는 약 40명의 인원이 상주해 AI의 안전성 관련 연구를 하고 있다.
글. 바이라인네트워크
<곽중희 기자>god8889@byline.network
