800억 투자받은 미국 보안 스타트업 ‘아웃테이크’가 AI로 ‘가짜’를 잡는 방법

미국에서는 인공지능(AI) 기술을 앞세운 보안 스타트업들의 대규모 투자 유치가 이어지고 있다. 특히 AI를 활용해 사이버 위협을 찾아내거나 기업에서 사용하는 AI 에이전트를 보호하는 기술에 투자자들의 관심이 쏠리고 있다. 이 가운데 올해 1월 4000만달러를 추가로 유치해 누적 투자액이 약 6000만달러(약 800억원)에 이른 기업이 있다. 바로 미국의 AI 보안 스타트업 ‘아웃테이크(Outtake)’다.

아웃테이크는 기업을 사칭한 가짜 웹사이트와 계정, 피싱 콘텐츠를 AI 에이전트로 찾아내는 기술을 제공하는 기업이다. 의심스러운 사이트 하나에서 연관된 공격망을 추적하고 삭제 요청까지 자동화한다. 팔란티어 출신 엔지니어인 알렉스 딜런 대표가 2023년 설립했다.

미국 아웃테이크 본사에서 근무하는 오택환(James Oh) 소프트웨어 엔지니어 겸 실험적 제품 개발 책임자(Experimental Product Lead)는 본지와의 화상 인터뷰에서 “사람들이 보고 (사칭 공격 등에) 당하기 전에 먼저 AI를 통해 차단하는 것이 회사의 핵심 전략”이라고 설명했다. 그는 “이런 공격은 얼마나 빠르게 차단 하는지가 중요하다”며 “공격자가 가짜 사이트 하나를 만드는 데 들이는 비용보다 이용자 한 명을 속여 얻는 이익이 클 수 있다”고 강조했다.

AI로 빨라진 공격과 방어, 아웃테이크는 ‘사람’에 주목

오 엔지니어가 가장 먼저 짚은 미국 보안 시장의 변화는 AI가 공격과 방어 양쪽의 속도를 높이고 있다는 점이다. 그는 “한국도 마찬가지겠지만, 전세계적으로 AI를 활용한 소프트웨어 취약점 탐색 능력이 빠르게 발전하고 있다”고 설명했다.

앤트로픽은 지난 4월 AI 모델 ‘클로드 미토스 프리뷰(Claude Mythos Preview)’의 보안 취약점 탐색 능력을 공개하고 주요 소프트웨어 기업들과 취약점 점검에 나섰다. 방어자는 AI를 활용해 취약점을 더 빠르게 찾아 수정할 수 있지만, 공격자도 같은 기술로 공격할 곳을 찾을 수 있다는 우려가 커졌다.

오 엔지니어가 주목한 또 다른 점은 바로 ‘사람을 대상으로 한 공격’이다. 소프트웨어의 취약점은 발견한 뒤 어떻게든 패치를 배포할 수 있지만, 이용자가 가짜 사이트나 사칭 메시지를 믿고 정보를 넘기는 문제는 기술적인 보안 패치만으로는 완전히 해결하기 어렵다. 이처럼 사람의 신뢰와 판단을 악용하는 수법을 ‘사회공학 공격’이라고 한다. 기업을 사칭한 문자나 웹사이트로 계정정보를 빼내는 피싱도 여기에 해당한다. 생성형 AI는 이런 공격에 필요한 가짜 사이트와 콘텐츠를 더 쉽고 빠르게 만들 수 있게 했다.

오 엔지니어는 소프트웨어 취약점을 겨냥한 공격도 당분간 중요한 보안 과제이지만, AI를 악용해서 사람을 속이는 공격은 앞으로 더 큰 문제가 될 것으로 봤다. 아웃테이크가 사회공학 공격에 집중하는 이유가 바로 여기에 있다.

그는 “현재는 ‘사람들이 AI가 만든 가짜 컨텐츠를 보기 전에 먼저 없애버리자’는 것이 아웃테이크의 핵심 접근법”이라고 설명했다. 공격자가 만든 가짜 사이트가 오래 남아 있을수록 누군가 속을 가능성도 커진다. 따라서 이용자가 가짜 콘텐츠를 구별하도록 돕는 것과 별개로, 위협을 조기에 찾아 삭제되도록 하는 데 집중한다는 것이다.

오 엔지니어는 “이런 공격은 얼마나 오래 남아 있느냐가 중요하다”며 “공격자가 가짜 사이트 하나를 만드는 데 들이는 비용보다 이용자 한 명을 속여 얻는 이익이 클 수 있다”고 했다.

가짜 사이트 하나에서 연결된 공격망까지 AI 에이전트가 추적

아웃테이크는 웹사이트와 도메인, 앱 장터, 소셜미디어 등 외부에 공개된 정보를 수집한다. AI 에이전트는 텍스트뿐 아니라 이미지와 영상, 음성에 포함된 단서를 분석해 기업 사칭이나 금융사기 가능성을 분류한다.

여러 에이전트가 정보 수집과 위험 분류, 심층 조사, 대응 업무를 나눠 맡는 구조다. 각기 다른 역할을 가진 에이전트를 연결해 작업하도록 하는 ‘에이전트 오케스트레이션’ 방식을 활용한다. 이 가운데 아웃테이크가 개발한 ‘리컨 에이전트(Recon Agent)’는 의심스러운 도메인이나 계정 하나에서 출발해 관련 공격 기반시설을 추적한다.

예를 들어 특정 기업을 사칭한 가짜 로그인 페이지를 발견하면 해당 사이트와 연결된 계정, 다른 웹사이트, 운영에 사용된 기반시설을 조사한다. 수집한 정보에서 연관성을 찾아 공격망을 파악하고 조사 보고서를 작성한다. 공격자가 여러 플랫폼에서 같은 사기 행위를 반복하는지도 확인할 수 있다.

오 엔지니어는 “가짜 웹사이트 하나를 깊게 조사해 보면 다양한 공격이 서로 연결돼 있다”고 설명했다. 개별 사이트를 찾아내는 데 그치지 않고, 여러 공격 사이의 관계를 파악하는 것이 중요하다는 이야기다.

아웃테이크의 주요 고객은 기술기업과 금융사, 소비재 기업이다. 오 엔지니어는 특히 금융사기 위협이 많은 금융권에서 관련 수요가 있다고 설명했다. 기업뿐 아니라 유명 인플루언서와 연예인 등 개인 고객도 있다. 이들의 이름과 이미지를 도용한 사칭 계정이나 콘텐츠를 탐지하는 데에도 기술을 활용한다.

대표적인 금융권 적용 사례는 미국 금융서비스 캐시앱(Cash App)이다. 아웃테이크가 공개한 자료에 따르면, 도입 초기 3개월 동안 동영상 중심 소셜미디어 콘텐츠 350만건 이상을 검토해 사기성 콘텐츠 2400건 이상을 찾아냈다. 기존 보안 도구로는 주로 문자와 이미지 중심의 게시물을 살폈지만, AI를 활용해 영상 속 발언과 음성까지 분석하도록 탐지 범위를 넓힌 것이다.

기존 보안 도구로는 주로 문자와 이미지 중심의 게시물을 살폈지만, 아웃테이크는 AI를 활용해 영상 속 발언과 음성까지 분석하도록 탐지 범위를 넓혔다. 영상에 담긴 사기성 안내나 가짜 금융정보도 조사 대상으로 삼았다.

챗GPT 개발사인 오픈AI도 아웃테이크의 고객사 중 하나다. 아웃테이크는 지난해 7월 오픈AI 모델을 활용해 위협을 탐지·분류하고 대응 절차를 자동화한 사례를 소개했다. 올해 7월에는 앤트로픽이 자사 AI 모델 클로드를 활용한 아웃테이크의 리컨 에이전트 개발 과정을 공개하기도 했다.

다만 AI가 모든 판단을 독자적으로 내리거나 사이트를 직접 삭제하지는 않는다. 아웃테이크의 고객사는 보호할 브랜드와 계정, 위협 판단 기준을 설정할 수 있다. 판단이 어려운 사례에는 보안·법무 담당자가 개입해 결정을 바꾸는 것도 가능하다. 아웃테이크가 증거를 수집하고 삭제 요청을 자동화하더라도, 실제 사이트나 계정을 삭제할지는 해당 서비스를 운영하는 플랫폼이 결정한다.

사람을 속이던 공격, AI 에이전트도 노린다

최근 아웃테이크가 새롭게 연구하는 분야는 ‘AI 에이전트 자체를 속이는 공격’이다. AI 에이전트가 사람을 대신해 웹사이트를 방문하고 정보를 수집하며 거래까지 수행하게 되면, 인터넷에 공개된 콘텐츠가 새로운 공격 수단이 될 수 있기 때문이다.

사람을 속이는 피싱 메시지처럼 AI 에이전트에도 특정 행동을 유도하는 지시문을 보낼 수 있다. 문제는 에이전트가 외부에서 읽은 내용을 단순한 정보가 아니라 따라야 할 지시로 받아들일 가능성이 있다는 점이다.

오 엔지니어는 올해 2월 AI 에이전트용 소셜네트워크 ‘몰트북(Moltbook)’을 직접 조사했다. 그가 연구에 활용한 보안 에이전트 ‘아웃테이크셰리프(OuttakeSheriff)’는 몰트북 게시물 10만6097개를 분석해 의심스러운 게시물 134개를 골라냈다. 별도의 검증 에이전트는 이 가운데 약 20여건을 실제 위협 사례로 분류했다.

두 에이전트에 서로 다른 역할을 맡긴 것이 특징이다. 첫 번째 에이전트는 의심스러운 게시물을 폭넓게 찾아내고, 두 번째 에이전트는 내용과 맥락을 다시 검토한다. 보안에 관해 토론하는 글을 실제 공격으로 잘못 판단하는 일을 줄이기 위해서다.

조사에서는 사람이 보는 화면에 드러나지 않는 웹페이지의 HTML 주석에 AI 에이전트를 향한 지시문을 숨긴 사례가 확인됐다. 해당 지시문은 특정 계정을 팔로우하도록 유도하는 내용이었다. 이 밖에도 에이전트가 토큰을 전송하거나 이메일을 보내도록 유도하는 게시물이 발견됐다.

외부 콘텐츠에 악의적인 명령을 숨겨 AI의 행동을 바꾸려는 수법을 ‘프롬프트 인젝션’이라고 한다. 실제 정보나 금전 탈취가 확인된 것은 아니지만, 에이전트가 인터넷에서 읽은 내용을 정당한 업무 지시로 잘못 받아들일 수 있다는 위험을 보여줬다.

오 엔지니어는 AI 모델의 성능을 높이는 것만으로 이런 위험을 완전히 없애기 어렵다고 설명했다. 외부 웹페이지를 읽을 때 불필요하거나 의심스러운 내용을 먼저 걸러내고, 에이전트가 작업에 필요한 정보만 전달받도록 하는 방법을 소개했다.

에이전트에 어떤 권한을 부여할지도 중요하다. 그는 “에이전트가 과연 어디까지 할 수 있는가”를 따져야 한다며, 사람이 인턴에게 업무를 맡기는 상황에 빗댔다. 업무 수행에 필요한 권한은 줘야 하지만, 실수했을 때 피해가 큰 작업까지 맡겨서는 안 된다는 설명이다.

아웃테이크 역시 외부 공격 사이트를 조사하는 에이전트가 회사 내부의 민감한 시스템에 접근하지 못하도록 실행 환경을 분리하는 방식을 개발하고 있다. 에이전트가 악의적인 지시에 속더라도 피해가 다른 시스템으로 번지지 않도록 하기 위해서다.

오 엔지니어는 “앞으로 AI 에이전트가 인터넷에서 수행하는 작업이 늘어날수록 진짜 서비스와 가짜 서비스를 구분하는 일이 더욱 중요해질 것”이라고 전망했다. 사람이 사칭 사이트를 구별해야 하듯, 이용자를 대신해 행동하는 AI 에이전트도 어떤 웹사이트를 신뢰할 수 있는지 판단해야 한다는 것이다.

한국 보안 시장의 성장 가능성도 긍정적으로 평가했다. 그는 AI가 소프트웨어를 개발하고 활용하는 비용을 낮출수록, 이를 안전하게 보호하고 진짜와 가짜를 구분하려는 보안 수요도 커질 것으로 내다봤다.

그는 “보안업계도 AI를 활용한 공격 방식의 변화에 발빠르게 대응해야 한다”며 “이미 AI가 공격 규모와 속도 등 많은 걸 바꿨고, 사고가 발생하는 상황에서 기존의 보안 방식에 의존해서는 대응하기 어렵다”고 설명했다. 이어 “옛날 방식으로만 해서는 절대 막을 수 없다”며 “방어하는 기업들도 AI를 잘 활용하는 방법을 제대로 배워야 한다”고 강조했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network