텍스트 한 줄에 뚫리는 AI, “듀얼 LLM 격리가 해법”

인공지능(AI)이 사용자 대신 검색하고 판단하며 각종 작업을 수행하는 에이전트(Agent) 시대가 본격화하면서, 외부 데이터를 악용해 AI의 판단과 행동을 조작하는 ‘프롬프트 삽입(Prompt Injection)’ 공격이 새로운 보안 위협으로 떠오르고 있다.

이병영 서울대학교 전기·정보공학부 교수는 7일 서울 서초구 삼성금융캠퍼스에서 열린 ‘AI 리스크 컨퍼런스 서울 2026’에서 “내가 작성하지 않은 모르는 텍스트를 문맥에 넣는 즉시 시스템 권한은 공격자에게 넘어갈 수 있다”며 간접 프롬프트 삽입 공격에 대한 주의가 필요하다고 강조했다.

이날 이 교수는 해커가 직접 악성 명령을 내리는 방식보다 웹페이지나 이메일 등 외부 데이터를 오염시켜 시스템을 속이는 기법이 더 위험하다고 진단하고, 실제 산업 현장 피해 사례도 상세히 소개했다.

먼저 쇼핑몰 웹페이지 요약을 지시받은 에이전트가 공격자 댓글을 읽고 원래 목적인 ‘리뷰 더 보기’ 대신 ‘지금 구매하기’ 버튼을 임의로 누르는 현상이 대표적이다. 과거 온라인 생태계를 위협했던 ‘크로스 사이트 스크립팅(Cross-site scripting) 공격’과 동일한 파급력을 지녔다는 분석이다. 이 공격은 공격자가 정상적인 웹사이트에 악성코드를 몰래 삽입해 해당 사이트를 방문한 다른 사용자의 정보나 권한을 탈취하는 해킹 기법이다.

또 마이크로소프트 깃허브 코파일럿 환경에서도 치명적 결함이 드러난 바 있다. 인터넷에서 복사한 외부 코드 주석에 ‘컴퓨터 안 파일 전부 지워(rm -rf)’라는 명령어가 숨겨져 있을 경우 사용자 요약 지시와 무관하게 에이전트가 로컬 시스템을 파괴하거나 중요 자료를 유출하는 동작을 수행하게 된다. 업무용 도구인 엠365(M365) 코파일럿 역시 해커가 보낸 악성 이메일을 읽는 순간 개인 편지함을 타인에게 무단 전송하는 취약점을 노출했다.

사태 근본 원인은 신뢰할 수 있는 사용자 명령과 출처 불명 외부 데이터가 단일 LLM 문맥 안에서 뒤섞이는 데 있다. 기존 정보보안 체계에서 출처를 모르는 실행 파일을 개인 PC에서 절대 열어보지 않는 상식이 에이전트 내부에서는 무시된 채 작동하기 때문이다.

다만 입출력 내용을 감시해 악성 여부를 걸러내는 기존 가드레일 방식으로는 한계가 뚜렷하다. 방화벽처럼 적용이 쉽지만 새로운 패턴 공격 앞에서는 방어 성공률을 완벽히 보장할 수 없다는 단점이 존재한다.

반면 엔비디아 등이 시도 중인 샌드박스 기반 오픈쉘(Open Shell) 통제 기법은 보안성은 높으나 인공지능 본연 활용성을 크게 떨어뜨리는 딜레마를 안고 있다. 다시 말해 샌드박스 기반 오픈쉘은 악성 명령이 시스템에 피해를 주지 못하도록 가둬두는 강력한 안전 격리 공간이지만 보안이 너무 엄격해 AI의 정상적인 작업까지 막아버리고 통제한다.

이 교수는 방어 근본 해법으로 망분리 원리를 적용한 ‘듀얼(Dual) LLM’ 격리 기술을 제시했다. 사용자 명령을 처리하는 신뢰 영역(초록색)과 외부 데이터를 다루는 비신뢰 영역(빨간색)을 물리적으로 쪼개서 운영하는 구조다. 비신뢰 영역에서 외부 웹페이지나 PDF 문서를 읽어 들이더라도 신뢰 영역으로는 원본 로우 데이터 대신 180이라는 특정 숫자 등 기호 형태 정보만 넘겨 공격자 코드가 핵심 권한에 접근하는 경로를 원천 차단하게 된다.

이 교수에 따르면 현재 구글 카멜 프로젝트나 마이크로소프트 피데스 등 글로벌 빅테크 기업들도 자사 제품군 보호를 위해 유사한 격리 시스템 상용화에 속도를 내고 있다. 이어 그는 특정 기업 솔루션에 국한되지 않고 플러그인 형태로 어떤 에이전트 환경에도 투명하게 적용 가능한 시스템 단위 방어망 구축 연구에 집중하고 있다고 설명했다.

이날 환영사를 맡은 조성욱 삼성화재 정보보호최고책임자(CISO) 겸 최고프라이버시책임자(CPO)는 “인공지능 혁신 그늘 뒤에는 보호 데이터 경계가 모호해지고 통제력을 상실하는 미증유 위험이 도사리고 있다”며 기업 생존과 신뢰를 결정지을 실질적 해법을 모색해야 한다고 당부했다.

오프닝을 맡은 유상윤 에임인텔리전스 대표이사(CEO) 역시 “사람을 대신해 시스템에 직접 접근하는 에이전트 환경에서는 정상 기능이 곧 공격 경로가 될 수 있다”며 위험을 사전에 파악하고 지속 통제할 체계 구축이 시급하다고 덧붙였다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network