인공지능 활용한 해킹 자동화 기술, 왜 필요할까

지난달 초 미국 라스베이거스에서 열린 세계 최대 해킹방어 대회인 ‘데프콘  CTF(Capture the Flag)’에서는 이전과 다른 이색풍경이 펼쳐졌다.

카네기멜론대학 연구팀 ‘포올시큐어(ForAllSecure)’가 개발한 인공지능(AI) 시스템(슈퍼컴퓨터)인 ‘메이헴(Mayhem)’이 이 대회에 처음 출전해 세계 최고의 해커로 구성된 팀들과 해킹 방어 실력을 겨뤘다.

바둑 두는 AI 시스템 ‘알파고’와 ‘이세돌’ 9단 간 세기의 대결에 버금가는 흥미진진한 일이다. 이 컴퓨터와 사람들 간 싸움은 아직까지도 최종결과가 나오지 않았다. 유일한 기계 참가자 ‘메이헴’의 성적은 이 대회에 출전한 15개 해킹팀 가운데 14위를 기록할 것으로 예상되고 있다.

CGC_Mayh‘메이헴’은 카네기멜론대학이 개발한 AI 시스템이다. 미국 국방부 산하 방위고등연구계획국(DARPA)이 개최한 ‘사이버그랜드챌린지(CGC)’라는 AI 시스템 간 해킹대회에서 다른 6개 시스템을 제치고 우승했다. ‘CGC’ 우승자로 올해 ‘데프콘’에 참여해 인간 해커들과 경쟁을 벌였다.

‘메이헴’같은 AI 시스템은 자동화된 해킹 공격을 수행한다. ‘CGC’같은 대회가 생겨나고 컴퓨터와 인간이 서로의 실력을 겨루며 자동화된 해킹 기술 연구가 이뤄지는 이유와 시사점은 무엇일까?

차상길 카이스트(KAIST) 교수는 6일 행정자치부와 한국인터넷진흥원이 서울 대한상공회의소에서 개최한 ‘2016 SW 개발보안 컨퍼런스’에서 이같은 질문에 대한 답안을 내놨다. 차 교수는 박사과정 당시 ‘메이헴’개발 연구에 직접 참여했다.

AI hacking_Cha그는 “해킹 자동화 연구를 한다고 하면 자칫 해커(공격자)를 돕는 악의적인 연구라고 생각할 수도 있지만, 자동화된 해킹은 방어 측면에서도 의미가 있다”며 “자동화된 해킹은 나와 적을 더 잘 알기 위해 공격해보고 이와 관련해 더욱 나은 대응책을 모색하려는 시도”라고 강조했다.

자동화된 해킹 기술의 필요성으로 차 교수는 먼저 현재 시스템 등에서 취약점을 찾는 과정이 개인의 능력에 의존되고 있다는 현실을 지적했다.

대규모 취약점 분석이 필요한 경우 개인의 능력에 의해 좌우되는 수동 분석은 한계가 있다는 것이다. 자동화된 분석 체계는 ‘사이버전’ 시대에 국가 차원에서도 역량을 키우는 일이다.

‘버그가 너무 많다’는 것도 문제로 꼽았다. 차 교수는 “(소프트웨어의) 버그를 고치는 속도보다 새로운 버그가 생겨나는 속도가 훨씬 빨라지고 있다. 수많은 버그를 다 고칠 수 없다면 정말 중요한 버그, 보안 취약점에 해당되는 버그를 선별적으로 골라 고쳐야할 필요가 있다. 자동화된 해킹은 수많은 버그를 선별적으로 디버깅할 수 있다는 측면에서 방어 차원에서도 중요한 의미를 가진다”고 말했다.

자동화된 해킹 기술은 보안 취약점에 빠르게 대응할 수 있도록 만든다는 점도 내세웠다. 소프트웨어를 배포하기 전에 사전에 점검하고 배포된 이후에도 재빨리 사후 조치할 수 있어 사이버공격 방어와 보안 강화에 도움을 준다는 것이다.

차 교수는 자동화된 해킹 요소로 바이너리로부터 취약점 발견, 찾은 취약점을 이용한 익스플로잇 생성, 취약점의 원인을 파악해 패치하는 세가지를 들었다.

이 가운데 취약점 발견과 익스플로잇 생성은 AEG(Automatic Exploit Generation)에 해당된다. ‘메이헴’은 바이너리기반 AEG를 수행한 최초의 시스템이다. 그동안의 성과는 ▲2억개의 테스트 케이스 ▲260만6506건의 크래시 ▲1만3875건의 새로운 버그 ▲152개 익스플로잇으로 요약된다. 보안 관련 중요한 버그를 찾아내 이를 수정한 경우가 많았다고 차 교수는 설명했다.

차 교수는 “해킹 자동화, AI 해킹과 보안 기술 연구는 이제 막 태동했다. ‘데프콘’에서 ‘메이헴’이 14위 성적을 받게 됐다는 점보다는 세계 최고 해킹팀이 참여한 대회에서 출제된 모든 문제를 사람의 도움 없이 다 풀어냈다는 점에서 성공적으로 연구가 이뤄지고 있다는 것”이라며 “앞으로 인간의 직관 등 컴퓨터보다 더 우수한 측면, 인간보다 컴퓨터가 더 우수한 측면을 서로 잘 조화한다면 좋은 결과를 얻을 것”이라는 의견을 밝혔다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network

관련 글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다