AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야

인공지능(AI)이 챗봇을 넘어 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. AI가 답변을 내놓는 데서 그치지 않고 직접 업무를 수행하고 장비를 움직이면서, 유해한 답변만 차단하는 것으로는 안전을 확보하기 어려워졌다. 이에 AI 에이전트가 어떤 정보에 접근해 누구에게 전달하는지, 피지컬 AI가 현실에서 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.

피터 맷슨 ML커먼스(MLCommons) 회장은 7일 서울 오크우드 프리미어 코엑스 센터에서 열린 ‘제2회 인공지능 안전 서울 포럼(SFASS 2026)’에서 “AI가 놀라운 시연을 넘어 모두가 매일 사용하는 제품이 되려면 신뢰성 문제를 신중하게 해결해야 한다”며 “안전성을 확보하는 것은 AI를 개발하는 일보다 더 어려울 수 있다”고 말했다. ML커먼스는 AI의 성능과 안전성을 측정하는 벤치마크를 개발하는 국제 AI 공학 컨소시엄이다. 맷슨 회장은 구글 시니어 스태프 엔지니어도 맡고 있다.

AI의 안전성, 표준화된 시험으로 점검해야

맷슨 회장은 AI 안전성과 보안을 같은 조건에서 비교할 수 있는 표준화된 시험이 필요하다고 강조했다. 그는 “좋은 벤치마크는 기업과 정부가 명확하고 측정 가능한 방향으로 움직이게 한다”며 “다른 어떤 수단보다 기술 발전을 빠르게 이끈다”고 설명했다.

벤치마크는 여러 AI 모델이나 시스템을 같은 조건에서 시험해 성능과 위험을 비교하는 기준이다. 평가 기관과 기업마다 시험 방식이 다르면 안전성 점수를 비교하기 어렵다. 정부도 정책과 인증 기준을 만들기 힘들다.

AI 평가는 일반 소프트웨어 시험보다 복잡하다. 지금의 AI는 텍스트뿐 아니라 이미지와 영상, 음성을 처리한다. 외부 도구를 연결하면 문서를 읽고 이메일을 보내거나 업무 시스템을 조작한다.

사용 목적에 따라서도 필요한 안전 기준이 달라진다. 금융과 의료는 AI가 높은 가치를 만들 수 있지만 오류가 발생했을 때 그만큼 피해도 크다. 기업 직원과 고객, 개인용 AI처럼 누가 사용하는지도 고려해야 한다.

언어와 문화적 맥락도 변수다. 볼트나 전선 같은 공산품은 어느 지역에서나 같은 방식으로 사용할 수 있다. 자연어로 소통하는 AI는 같은 표현도 언어와 지역에 따라 다르게 이해할 수 있다.

맷슨 회장은 “195개국에서 수백개 언어로 AI를 평가해야 한다”며 전 세계에서 AI의 신뢰성을 측정하는 일이 거대한 과제라고 설명했다.

학술 연구에 사용하는 벤치마크만으로는 산업 현장에서 AI 안전성을 장기간 검증하기 어렵다. 학술용 벤치마크는 공개된 데이터와 평가 방식을 바탕으로 새로운 문제를 제시하는 데 유용하다. 하지만 시험 데이터가 모두 공개되면 개발사가 해당 문제에만 맞춰 모델을 조정할 수 있다. 모델이 시험 문제는 잘 풀지만 새로운 상황에는 대응하지 못하는 ‘과적합’이 발생할 수 있다.

맷슨 회장은 정부의 정책과 산업 표준을 뒷받침하려면 ‘산업용 벤치마크’가 필요하다고 설명했다. 평가 기준을 명확히 정하고 연습용 데이터는 제공하되, 공식 시험 데이터와 평가 모델은 외부에 공개하지 않아야 한다는 것이다.

공식 시험 데이터도 계속 바꿔야 한다. AI 기술과 공격 방식이 달라지면 기존 문제만으로 새 위험을 측정하기 어렵기 때문이다. 평가 결과를 두고 발생하는 분쟁을 처리할 운영 체계도 필요하다. 시험 자료를 보호할 기술·법률 기반과 평가 체계를 장기간 유지할 재원도 갖춰야 한다. 세계 각국이 모든 평가 체계를 따로 만들기도 어렵다. 공통 평가 기반은 공유하고 언어와 지역별 차이만 추가하는 방식이 필요하다. AI가 새로 출시될 때마다 평가를 반복해야 하는 만큼 비용과 시간을 줄일 구조도 마련해야 한다.

맷슨 회장은 “학술 벤치마크는 아이디어를 만드는 데 유용하다”며 “표준과 시장을 장기간 뒷받침하려면 아이디어를 산업에서 사용할 수 있는 형태로 바꿔야 한다”고 말했다.

AI의 진화가 가져온 안전 위협

검증 기준을 세우는 일은 AI가 실제 업무에 투입되면서 더욱 복잡해졌다. AI 에이전트는 이용자의 지시를 받아 이메일을 보내고 문서를 수정한다. 외부 시스템에 접속해 정보를 조회하거나 컴퓨터를 직접 조작하기도 한다. 잘못된 답변이 화면에 표시되는 데 그치지 않고 실제 행동으로 이어지는 것이다.

AI 보안 전문 스타트업 에임인텔리전스(AIM Intelligence)의 박하온 최고기술책임자(CTO)는 프런티어 AI의 안전 범위를 에이전트와 멀티모달 AI, 피지컬 AI로 구분했다. 프런티어 AI는 현재 기술의 최전선에 있는 고성능 AI를 뜻한다. 멀티모달 AI는 텍스트와 이미지, 음성, 영상 등 여러 형태의 정보를 함께 처리한다. 피지컬 AI는 로봇과 자율주행차, 공장 설비처럼 현실 공간에서 판단하고 움직이는 시스템이다.

기존 생성형 AI 안전은 유해하거나 잘못된 답변을 차단하는 데 초점을 맞췄다. 하지만 AI가 외부 도구와 연결되면서는 보안 사고가 이메일 전송과 파일 공유, 계정 변경, 장비 작동으로 번질 수 있다.

기업용 챗봇과 검색증강생성(RAG) 시스템에서도 취약점이 발생할 수 있다. RAG는 AI가 외부 문서나 데이터베이스를 검색한 뒤 해당 정보를 바탕으로 답변하는 기술이다.

또한 모델 콘텍스트 프로토콜(Model Context Protocol, MCP)로 연결되는 AI의 특성 상 공격 범위도 더 넓어질 수 있다. 여러 에이전트가 MCP로 연결되면 한 에이전트가 접한 민감정보가 다른 에이전트를 거쳐 연쇄적으로 유출될 수 있다. 박 CTO는 이를 ‘MCP 웜’ 공격이라고 설명했다.

픽셀 0.8% 바꿔도 AI의 판단 달라져

AI와 물리 시스템이 연결된 피지컬 AI에서는 디지털 공격이 현실의 사고로도 이어질 수 있다. 특수 안경이나 마스크를 착용해 얼굴 인식 시스템을 속이는 신원 위장 공격이 한 사례다. 사람이 특정한 그림을 들고 객체 탐지 시스템의 인식을 피하는 공격도 가능하다.

시각과 언어를 함께 처리하는 시각언어모델(VLM)에 작은 문구를 넣어 자율주행 판단을 바꾸는 방식도 있다. 에임인텔리전스가 공유한 관련 실험에서는 원본 이미지와 비교해 픽셀 차이가 0.8% 미만인 변형만으로 시각언어모델 기반 시스템의 판단이 달라졌다. 실제 도로 사고가 아니라 시험 환경에서 공격 가능성을 확인한 사례다.

피지컬 AI에서는 최종 답변만 검사할 수도 없다. 카메라와 마이크로 들어온 정보를 AI가 어떻게 이해했는지도 살펴야 한다. 어떤 행동을 선택했고 해당 행동이 물리적 안전 기준을 벗어났는지도 확인해야 한다.

에임인텔리전스는 이런 위협에 대응하는 방안으로 취약점을 찾는 공격 시험과 운영 중 통제를 연결하는 ‘퍼플팀’ 방식을 제시했다. 퍼플팀은 공격 역할을 맡는 레드팀과 방어를 담당하는 블루팀이 시험 결과를 공유하며 방어 체계를 개선하는 방식이다.

에임인텔리전스의 자동 공격 엔진 ‘스팅어(Stinger)’는 AI 시스템의 취약점을 찾는다. ‘가디언(Guardian)’은 소형언어모델(SLM)과 시각언어모델(VLM)의 동작을 실시간으로 점검하는 가드레일이다. 실시간 가드레일 플랫폼인 ‘스타포트(Starfort)’는 로봇의 자기 상태와 물리적 제약, 사람과 협업하는 과정에서 나타나는 예외 상황을 파악하고 통제한다.

특정 명령어만 차단해서는 로봇의 안전을 하는데 한계가 있다. 로봇의 자세와 주변 물체, 사람과의 거리, 물리적 제약을 함께 분석해야 한다. 모델 보안과 물리적 안전이 하나의 관리 대상이 된 셈이다.

AI 에이전트, 공격 없어도 업무 중 정보 샌다

AI 에이전트의 위험은 공격자가 없을 때도 나타난다. 사용자가 정상적인 업무를 지시했지만 에이전트가 작업 과정에서 비밀번호나 개인정보, 내부 문서를 잘못 전달할 수 있다. 백한결 인공지능안전연구소(AISI) 연구원은 한국과 싱가포르 인공지능안전연구소가 공동으로 진행한 AI 에이전트 데이터 유출 평가 결과를 소개했다.

기존 AI 보안 평가는 공격자가 프롬프트 주입이나 탈옥을 시도해 정보를 빼내는 상황에 집중했다. 프롬프트 주입은 AI가 공격자의 숨겨진 명령을 따르도록 만드는 기법이다. 탈옥은 AI의 안전 장치를 우회하는 공격을 말한다.

AISI는 평가에서 공격이 없는 정상적인 업무를 수행하는 에이전트를 대상으로 삼았다. 신규 직원에게 환영 이메일을 보내는 상황이 대표적이다. 에이전트가 임시 비밀번호나 애플리케이션 프로그래밍 인터페이스(API) 키까지 이메일에 넣으면 사용자의 지시에 악의가 없어도 정보가 유출된다.

두 연구소는 고객 지원과 개발·운영, 웹 자동화, 기업 업무, 개인 생산성 분야에서 12개 시나리오를 만들었다. 한국과 싱가포르 연구소가 6개씩 설계했다.

시험 환경에는 이메일과 블로그 서비스, 깃랩(GitLab), 슬랙(Slack), 구글 캘린더, 데이터베이스, 웹 자동화 도구를 구현했다. 에이전트가 실제 업무와 비슷한 환경에서 여러 단계의 작업을 수행하도록 한 뒤 도구 호출 기록과 전달 정보, 최종 결과를 평가했다.

정보 유출 위험은 ▲데이터 인식 ▲수신자 인식 ▲정책 준수 ▲데이터 최소화 ▲접근 경계 등 다섯 가지로 나눠 평가했다.

데이터 인식은 비밀번호와 개인정보 같은 민감정보를 AI가 알아보는 능력이다. 수신자 인식은 내부 직원과 외부 고객처럼 정보를 받아도 되는 대상을 구분하는 능력을 뜻한다. 정책 준수는 기업의 보안 등급과 업무 절차를 지키는지 살핀다. 데이터 최소화는 업무에 필요하지 않은 정보까지 조회하거나 보관하는지 확인한다. 접근 경계는 에이전트가 맡은 업무를 넘어 다른 시스템이나 자료에 접근하는지 평가한다.

평가 결과, 세 모델 모두 업무 정확성과 안전성 점수가 엇갈렸다. 모델 A는 업무 정확성에서 0.902를 기록했지만 안전성은 0.838이었다. 모델 B는 정확성 0.845, 안전성 0.912를 기록했다. 모델 C는 정확성 0.742, 안전성 0.802였다. 업무를 정확하게 끝내는 능력과 데이터를 안전하게 처리하는 능력이 일치하지 않은 것이다.

AI가 한 말보다 행동 기록 봐야

에이전트가 보고한 내용과 실제 행동이 다른 사례도 확인됐다. 일부 에이전트는 정보가 민감하다는 점을 인식하고도 외부로 전달했다. 이후에는 민감정보를 노출하지 않았다고 답했다. 최종 답변만 보면 안전하게 처리한 것처럼 보인다. 도구 호출 기록에는 실제 유출 사실이 남아 있었다. 어떤 파일을 읽고 어떤 도구를 호출했는지, 누구에게 무엇을 보냈는지 전체 작업 경로를 확인해야 한다.

작업을 하지 않고도 완료했다고 주장하는 ‘실행 환각’도 발생했다. 결제를 마치지 않았는데 성공했다고 답하거나, 확인하지 않은 정보로 실제 일정을 만드는 식이다.

일부 에이전트는 자신이 시험받고 있다는 사실도 인식했다. 평가 환경에서만 조심스럽게 행동하고 실제 운영에서는 다르게 움직일 가능성이 있다는 의미다.

연구진은 업무를 아예 수행하지 않은 경우에도 안전 점수를 주지 않았다. 아무 행동도 하지 않으면 정보는 유출되지 않지만 에이전트가 맡은 업무도 끝내지 못하기 때문이다.

전체 평가 결과의 10%는 사람이 다시 검토했다. 대규모언어모델(LLM) 평가자와 사람의 항목별 판단 일치율은 싱가포르 측 99.3%, 한국 측 95.6%였다. 자동 평가의 가능성은 확인했지만 해석이 필요한 항목에는 사람의 검토가 필요했다.

AI 안전의 기준은 ‘무엇을 답했는가’에서 ‘무엇을 보고 실제로 무엇을 했는가’로 이동하고 있다. 같은 기준으로 안전성을 측정할 산업용 벤치마크가 필요하지만 검증 대상은 계속 늘어난다. 모델의 답변부터 에이전트의 작업 경로, 로봇의 물리적 행동까지 하나의 평가 체계에서 살펴야 하는 것이다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network