마이크로소프트가 본 ‘AI 해킹’의 최전선
“AI가 알아서 취약점을 찾고 패치하는 일은 언젠가 다가올 미래라고 생각했는데, 불과 6개월 만에 현실이 됐습니다.”
김태수 마이크로소프트 보안 연구 부사장 겸 조지아공과대학교 교수는 24일 서울 강남구 코엑스에서 열린 ‘코드게이트 2026’ 기조강연에서 AI 기반 취약점 연구의 현 상황와 마이크로소프트의 보안 연구 현황을 공개했다.
이날 김 부사장은 미국 국방고등연구계획국(DARPA)이 개최한 ‘AI 사이버 챌린지(AIxCC)’에 참가한 경험을 소개했다. AIxCC는 AI가 사람 해커처럼 오픈소스 소프트웨어의 취약점을 찾고 수정하는 ‘사이버 추론 시스템’을 겨루는 대회다. 전체 상금 규모는 2950만달러로, 김 부사장이 이끈 팀 애틀랜타(Team Atlanta)는 준결승과 결승에서 총 600만달러를 받으며 우승했다.
대회에는 약 100개팀이 등록했고 42개팀이 실제 경쟁에 참여했다. AI와 소프트웨어 공학, 프로그램 분석 등 서로 다른 기술을 내세운 팀들이 모였지만, 결승에 오른 7개팀은 모두 보안 지식을 중심으로 AI를 활용한 팀이었다.
김 부사장은 대회 당시를 회상하며 “보안 지식이 있는 상태에서 AI를 활용해야 가장 효율적인 결과를 낼 수 있었다”고 했다. 그는 “강력한 AI 모델 하나만 사용하는 것보다 취약점 분석 방식과 보안 도구, 검증 절차를 함께 설계하는 능력이 결과를 좌우했다”고 덧붙였다.
AIxCC 결승에서 참가자들은 5400만줄에 이르는 코드를 분석했다. DARPA의 최종 집계에 따르면, 참가자들이 설계한 시스템들은 대회 측에서 심어 놓은 취약점 63개 가운데 54개를 찾고 43개를 수정했다. 실제 오픈소스에 존재하던 취약점도 18개 발견했다. 패치를 제출하기까지 평균 45분이 걸렸으며, 작업당 평균 비용은 약 152달러였다. 김 부사장은 “사람이 직접 하던 것보다 훨씬 뛰어난 수준을 보였다”이라고 평가했다.
김 부사장은 AI의 한계점도 짚었다. 그는 “취약점을 많이 찾아내는 것보다 실제 공격 가능한 버그인지를 증명하는 과정이 중요하다”며 “기존의 정적 분석 도구는 코드에서 의심스러운 부분을 대량으로 찾아낸다. 하지만 이중에 실제 공격으로 이어지지 않는 오탐이 많으면 개발자는 불필요한 시간을 낭비해야 한다”고 했다. 이어 “생성형 AI는 그럴듯하지만 잘못된 취약점 보고서를 만드는 오류도 있다”고 지적했다. 오픈소스 개발자들은 이를 ‘AI 슬롭(AI slop·AI가 대량 생성한 저품질 결과물)’이라고 부른다.
팀 애틀랜타는 이런 AI 슬롭을 경계하면서 AI가 찾은 버그를 실제 입력값으로 재현하고 패치가 작동하는지를 확인했다. 그리고 점차 정확도를 높여갔다. 그는 “자체 분석 결과 시스템이 취약점으로 판정한 10건 가운데 9건이 실제 버그였다”고 말했다.
그는 현재의 AI 모델을 애니메이션 영화 ‘인크레더블’에 등장하는 아기 슈퍼히어로 ‘잭잭’에 비유하기도 했다. 잭잭은 많은 초능력을 지녔음에도 제대로 통제하지 못하는 것처럼, AI도 뛰어난 코딩과 추론 능력을 실제 보안 업무에 맞게 사용하려면 도구와 검증 절차를 갖춘 시스템이 필요하다는 설명이다.
또한, 김 부사장은 AI를 활용하는 방식이 프롬프트 중심에서 에이전트 중심으로 바뀌고 있다고도 짚었다. 예전에는 어떤 지시문을 입력하고 코드 정보를 어느 위치에 배치할지가 중요했지만, 이제는 여러 에이전트를 결합해서 사용하고 있다는 것이다. 그는 “최근에는 AI가 디버거와 코드 분석기 같은 외부 도구를 사용하고, 다른 AI 에이전트에 작업을 나누는 방식을 많이 사용하는 추세”라고 했다.
팀 애틀랜타는 대회 당시 역할과 기반 모델이 다른 AI 에이전트 6∼7개를 결합했다. 한 에이전트는 버그를 분석하고 다른 에이전트는 패치를 만들었다. 또 다른 별도의 에이전트가 결과를 반박하고 검증했다. 여러 모델의 판단을 종합한 결과, 개별 에이전트보다 높은 성능을 보였다.
이 경험을 바탕으로 김 부사장은 마이크로소프트에 합류한 후 다중 모델 에이전트 스캐닝 시스템인 ‘MDASH’를 개발했다. MDASH는 저장소의 과거 코드 변경 요소와 공개된 취약점 및 식별(CVE)을 분석해 위협 모델을 만든다. 100개가 넘는 전문 AI 에이전트가 코드를 점검하고 취약점 여부를 점검한다. 그리고 중복된 결과를 없앤 뒤 개념증명(PoC) 코드를 만들어 실제로 버그가 발생하는지도 확인한다.
마이크로소프트는 MDASH를 사용해 비공개 시험용 드라이버에 심은 취약점 21개를 오탐 없이 모두 찾았다. 윈도우 네트워크와 인증 구성요소에서는 원격 코드 실행 취약점 4개를 포함한 신규 취약점 16개를 찾아 보안 업데이트에 반영하기도 했다.
김 부사장은 “MDASH는 AI로 취약점을 찾는 연구가 실험을 넘어 실제 제품 개발 과정에 들어왔다는 것을 보여준다”고 강조했다.
글. 바이라인네트워크
<곽중희 기자>god8889@byline.network
