역설계 문턱 낮춘 AI 도구 ‘REA’, 보안 위협 키우나

인공지능(AI) 역설계 도구 ‘REA(Reverse Engineer Anything)’가 소프트웨어 분석의 문턱을 낮추면서 보안 위협도 커질 수 있다는 우려가 나온다. 소스코드가 공개되지 않은 프로그램도 AI의 도움을 받아 분석할 수 있어 공격자의 취약점 탐색이나 악성 프로그램 제작에 악용될 가능성이 있기 때문이다.

REA는 AI 코딩 에이전트를 기존 역설계 도구와 연결해 프로그램의 내부 구조와 실행 과정을 분석하도록 지원하는 오픈소스 도구다. 개발자 ‘모르루토(morluto)’가 지난 4월 코드 공유 플랫폼 깃허브에 처음 공개했다. 지난 10월에는 기존 소프트웨어의 기능을 분석하고 유사한 기능을 구현할 수 있다는 점에서 개발자들의 관심을 끌었다. 실제 REA 개발진은 1996년 출시된 게임 ‘DX-볼(DX-Ball)’의 실행파일을 분석해 소리의 방향을 계산하는 기능을 C언어로 재현한 사례를 공개했다. REA 개발자 커뮤니티에서도 상용 소프트웨어와 비슷한 기능을 갖춘 대체 프로그램 개발에 관한 논의가 나왔다.

문제는 이러한 분석 능력은 공격자도 활용할 수 있다는 점이다. 특히 소스코드가 공개되지 않은 프로그램의 작동 방식을 파악하고 보안 기능을 우회할 단서를 찾는 데 악용될 수 있다.

REA, 취약점 탐색·악성 프로그램 제작에도 악용 가능

실제 AI의 역설계 능력이 발전하고 있다는 연구 결과도 나왔다. 지난 10월 이탈리아 파도바대학교, 프랑스 유레콤(EURECOM), 미국 애리조나주립대학교와 조지아대학교 공동 연구진은 ‘인간과 기계: 소프트웨어 역설계에서 AI 에이전트와 인간의 비교(Humans vs. Machines: A Comparison With AI Agents in Software Reverse Engineering)’ 연구를 통해 AI 모델 9개의 역설계 능력을 인간 분석가와 비교했다.

연구진은 AI 모델 9개에 소프트웨어 실행파일을 분석하는 과제 2개를 부여하고 인간 분석가의 수행 결과와 비교했다. 연구 결과, GPT-5.5 프로(Pro), 클로드 오퍼스 4.8, 키미 K3 등 3개 모델은 두 과제에서 모두 상위 인간 분석가와 통계적으로 견줄 만한 수준의 프로그램 이해 능력을 보였다.

분석 시간에서도 차이가 나타났다. 상위 3개 AI 모델의 평균 수행 시간은 과제별로 10.5분과 11.1분이었다. 같은 과제를 수행한 상위 인간 분석가 집단은 각각 평균 75분과 46.6분이 걸렸다. AI가 약 7.2배, 4.2배 빠르게 작업을 수행한 셈이다. 다만 연구진은 실험 대상이 비교적 작은 두 가지 분석 과제였다는 점을 한계로 설명했다. 규모가 큰 실제 소프트웨어에서는 AI가 한 번에 처리할 수 있는 코드의 양에 제약이 있으며, REA 자체의 성능을 평가한 결과도 아니라는 점이다.

윤인수 한국과학기술원(KAIST) 전기 및 전자공학부 교수는 “AI의 역설계 능력 향상이 취약점 탐색 범위를 넓힐 수 있다”고 말했다. 그는 “소스 코드가 없는 소프트웨어라고 해도 이제는 안전하지 않다”며 “과거에는 소스코드가 없는 프로그램일수록 분석이 복잡하다는 인식이 있었지만 AI가 이러한 장벽을 낮추고 있다”고 설명했다.

특히 그는 “AI가 소스코드가 없는 프로그램도 분석할 수 있게 되면서 기존보다 취약점을 찾아내기 쉬워졌다”고 짚었다. 오래된 소프트웨어나 외부에 소스코드를 공개하지 않는 상용 프로그램도 분석 대상이 될 수 있다는 설명이다.

다만 역설계와 취약점 발견, 실제 공격은 서로 다른 단계다. 소프트웨어의 내부 구조를 파악했다고 해서 곧바로 취약점을 찾아내거나 시스템 침해에 성공하는 것은 아니다.

국내 오펜시브 보안 전문기업 엔키화이트햇 관계자는 “REA가 새로운 공격 기법을 만든 것은 아니다”라고 짚었다. 기존 역설계 도구들을 AI 에이전트와 연결해 분석 작업을 빠르고 쉽게 수행하도록 지원하는 기술이라는 것이다. 다만 그는 “공격 과정에서 특정 시스템이나 프로그램을 분석하는 데 REA를 활용하면 공격 속도를 높일 수 있다”고 덧붙였다.

같은 오펜시브 보안 전문기업인 스틸리언의 전문가도 비슷한 의견을 냈다. 이승용 모바일연구팀 책임연구원은 “REA가 새로운 공격 기법을 만든 건 아니다. 대신 앱 분석의 진입 장벽을 확 낮췄다”며 “예전엔 전문가가 며칠씩 매달려야 했던 분석이 이제 AI에 맡기면 금방 끝난다”고 설명했다. 특히 그는 “보안 처리가 미흡한 모바일 앱일수록 내부 작동 방식이 쉽게 드러날 수 있다”고 우려했다. 공격자가 이러한 정보를 활용하면 앱의 인증 방식이나 보안 기능을 분석하고 취약점을 찾는 데 도움을 받을 수 있다는 설명이다.

또 다른 우려는 정상 소프트웨어를 모방한 악성 프로그램 제작이다. 공격자가 기존 앱의 기능과 화면을 비슷하게 구현한 뒤 악성코드를 삽입해 배포하면 이용자가 정상 앱으로 오인할 가능성이 있다. 이 책임연구원은 “진짜와 똑같은 복제품에 악성코드를 슬쩍 심어 퍼뜨리면 일반 사용자는 구별하기가 정말 어렵다”며 “앞으로 정품 여부를 확인하고 변조된 앱의 실행을 차단하는 기술이 중요해질 것”이라고 전망했다.

분석 어렵게 만드는 보호 기술 필요, 기본 보안 관리도 중요

AI 기반 역설계 기술의 발전으로 위한 보안 위협에 대응하기 위해서는 소프트웨어의 내부 구조가 쉽게 드러나지 않도록 보호하고 변조 여부를 확인하는 기술이 필요하다. 대표적인 기술은 ‘난독화’와 ‘무결성 검증’이다. 난독화는 프로그램의 기능은 유지하면서 내부 코드를 이해하기 어렵게 만드는 방식이다. 무결성 검증은 프로그램이 개발자가 배포한 원본 상태에서 변경되지 않았는지 확인하는 기술이다. 위변조 탐지 기술은 앱의 코드나 실행 환경에 비정상적인 변경이 발생했는지 확인한다.

글로벌 보안기업 탈레스는 지난 10월 AI 역설계에 대응하는 소프트웨어 보호 솔루션 ‘센티넬 엔벌로프 플러스(Sentinel Envelope Plus)’를 공개했다. 이 제품은 프로그램을 구성하는 실행파일의 일부 코드를 난독화하고 변조·분석 방지 기술을 적용한다. 기존 소스코드를 수정하지 않고도 보호 기능을 적용할 수 있다.

탈레스는 AI 모델 ‘클로드 오퍼스 4.7’을 활용한 자체 실험 결과도 공개했다. 의도적으로 취약점 10개를 삽입한 프로그램을 분석한 결과, 보호 기술을 적용하지 않았을 때는 약 3분 만에 취약점 8개를 찾아냈다. 반면 센티넬 엔벌로프 플러스를 적용한 뒤에는 6시간43분 동안 분석했지만 취약점을 발견하지 못했다.

이승용 스틸리언 책임연구원은 “난독화와 위변조 방지 기술은 공격자의 분석을 어렵게 만들어 준다”면서도 “다만 이러한 기술은 공격에 필요한 시간과 비용을 높이는 수단”이라고 설명했다.

또한 소프트웨어의 분석을 어렵게 만드는 것과 취약점 자체를 해결하는 것은 별개의 문제다. 난독화와 위변조 방지 기술을 적용하더라도 프로그램에 존재하는 취약점까지 사라지는 것은 아니기 때문이다.

윤인수 KAIST 교수는 “AI 역설계 기술이 발전하더라도 기업의 기본적인 보안 대응 원칙은 크게 달라지지 않는다”며 “취약점을 점검하고 보안패치를 적용하는 일은 여전히 중요하다”고 강조했다. 그는 “방어는 공격과 다르게 AI에 많은 것을 맞기기에는 현실적으로 어려운 점들이 많다”며 “이런 (REA를 악용한) 위협에도 AI를 활용해야겠지만 결국 사람의 점검과 함께 거버넌스도 마련해야 한다”고 조언했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network