피지컬 AI 전용 보안 법제·거버넌스 과제 부상

“이전의 보안 사고는 시스템이 멈추거나 데이터가 유출되는 문제가 대부분이었습니다. 하지만 피지컬 AI(Physical AI) 시대에는 해킹된 로봇이 사람을 다치게 할 수도 있고, 자율주행·드론·군사용 AI까지 연결되면 국가 안보 문제도 커질 수 있습니다.”

노병규 연세대학교 바른ICT연구소 교수는 20일 서울 여의도 국회의원회관에서 열린 ‘피지컬 AI 시대, 일자리와 보안’ 포럼에서 피지컬 AI의 보안 문제를 이렇게 짚었다. 김장겸 국민의힘 의원실과 한국경영정보학회, 연세대 바른ICT연구소는 이날 제9차 AI 인사이트 포럼을 열고 로봇·자율주행·국방 AI로 확장되는 보안 쟁점을 논의했다.

노 교수는 ‘피지컬 AI와 보안: 사이버 침해의 물리적 확장과 국가 대응 과제’를 주제로 발표했다. 그는 클로드 미토스 등 최근 보안업계의 현안을 언급하면서, AI가 취약점 탐색과 악성 코드 작성에서 자율성을 보이는 흐름이 로봇 등 피지컬 AI 환경으로 확장되면 보안 위협이 확장될 수 있다고 우려했다.

피지컬 AI의 보안 취약점, 물리적 피해로 직결

노 교수는 피지컬 AI 보안 위협의 대표적인 사례로 ‘휴머노이드 로봇’과 ‘사족보행 로봇’을 들었다. 일부 로봇 기종이 동일한 하드코딩 암호키를 쓰면, 한 기기가 뚫렸을 때 같은 네트워크 안의 다른 기기로 공격이 번질 수 있다는 설명이다. 하드코딩 암호키는 소프트웨어 안에 미리 박아둔 비밀번호나 암호키를 뜻한다. 외부에서 쉽게 바꿀 수 없어 유출되면 같은 구조의 장비가 한꺼번에 위험해질 수 있다.

‘자율주행 분야’에서도 위협이 발생할 수 있다. 노 교수는 최근 사례로 도로 표지판이나 주변 환경에 조작된 문구를 넣어 AI의 판단을 바꾸는 공격 방식을 언급했다. 사람에게는 단순한 스티커나 문구로 보이지만, AI가 이를 명령어로 해석하면 차량이나 배달 로봇의 행동이 바뀔 수 있다는 것이다. 차량이나 배달 로봇이 이런 문구를 실제 환경 정보로 받아들이면 정지, 회피, 감속 같은 판단이 달라질 수 있다.

소비자용 자율 이동 로봇의 원격 장악 사례도 거론됐다. 노 교수는 최근 판매된 잔디깎기 로봇에서 원격 접근 취약점이 발견돼, 공격자가 수천마일 떨어진 곳에서도 위치정보와 카메라 영상을 확인할 수 있었다고 설명했다. 그는 “잔디깎기 로봇에는 날카로운 절단 장치가 달려 있고, 무게도 수십kg에 달한다”며 “원격 조정으로 사람을 향해 움직이게 하면 사이버 사고가 아니라 물리적 사고가 된다”고 우려했다. 이는 프롬프트 인젝션(prompt injection)과도 맞닿아 있다. 프롬프트 인젝션은 AI에게 악의적인 명령어를 주입해 금지된 답변을 하게 만드는 공격이다. 피지컬 AI 환경에서는 이런 공격이 온라인 서비스 오류를 넘어 도로 위 사고나 안전 문제로 이어질 수 있다.

군사 영역에서는 이스라엘의 ‘라벤더(Lavender)’ 사례를 언급했다. 라벤더는 이스라엘군이 하마스·팔레스타인 무장단체 소속 인원을 식별하고 공격 표적으로 삼기 위해 개발한 ‘AI 기반의 표적 설정 시스템’이다. 노 교수는 AI가 표적 목록 생산 같은 킬체인 일부를 맡으면 오인식, 데이터 중독 공격, 책임 소재 문제가 동시에 불거질 수 있다고 봤다. 데이터 중독은 AI가 배우는 학습 데이터에 잘못된 정보를 섞어 판단을 왜곡하는 공격이다.

안전한 피지컬 AI, AI 기본법으로는 한계

노 교수는 현행 AI 기본법만으로는 피지컬 AI의 보안 체계를 만들기 어렵다고 봤다. AI 기본법의 논의 초점이 생성형 AI의 투명성, 윤리, 개인정보 침해 문제에 맞춰져 있어 해킹된 로봇이 사람을 다치게 했을 때 제조사와 운영자 책임, 취약점 공시 의무, 원격 데이터 전송 기준을 구체적으로 다루기 어렵다는 취지다.

그는 해결법으로 우선 ‘피지컬 AI 안전보안 특별법 제정’을 제안했다. 로봇의 보안 설계 의무와 사고 때 제조사와 운영자의 책임 분담 기준을 법에 담아야 한다는 내용이다. 또 피지컬 AI 보안 인증 체계를 마련하고, 인증을 받지 않은 제품은 주요 인프라에 들어오지 못하게 해야 한다고 했다.

‘취약점 공개 체계’도 과제로 제시했다. 노 교수는 로봇 전용 공통 취약점 및 목록(CVE) 데이터베이스와 한국인터넷진흥원(KISA) 안의 로봇 보안 대응센터 신설을 제시했다. ‘텔레메트리 데이터 규제’도 필요하다고 했다. 텔레메트리는 장비가 수집한 상태 정보, 위치 정보, 센서의 값을 원격 서버로 보내는 데이터를 뜻한다. 노 교수는 “개인정보로 바로 분류되지 않는 상황 정보라도 로봇이 주기적으로 해외 서버에 전송하면 안보 문제가 될 수 있다”고 우려했다.

피지컬 AI 보안, 컨트롤타워와 집행 체계 필요

노 교수는 ‘거버넌스’도 핵심 과제로 봤다. 과학기술정보통신부는 ‘AI 기본법’을, 산업통상자원부는 ‘지능형 로봇법’을, 국토교통부는 ‘자율주행자동차 상용화 촉진 및 지원에 관한 법률’ 등 자율주행차 법제를 맡는 분절된 구조에서는 피지컬 AI 보안 컨트롤타워가 분산될 수 있다는 지적이다. 그러면서 그는 범정부 차원의 ‘피지컬 AI 안전위원회’ 설치를 제안했다.

중장기 로드맵은 3단계로 제시했다. 1단계는 ▲특별법 제정과 위원회 설치, 2단계는 ▲보안 인증과 소프트웨어 구성명세서(SBOM) 제출 의무, 융합인재 양성이다. 3단계는 ▲국내 피지컬 AI 보안 가이드라인을 국제 표준 초안으로 확산하는 방안이다.

법 제정만으로 충분하지 않다는 의견도 나왔다. 강대엽 로욜라메리마운트대 교수는 피지컬 AI 보안의 핵심이 기술 도입 자체보다 사고가 나기 전 책임 구조를 설계하는 데 있다고 봤다.

강 교수는 “AI가 로그 분석, 이상 탐지, 취약점 탐지에는 능력을 보일 수 있지만 사고 보고 의무나 자동 의사결정의 책임 문제까지 해결해주지는 못한다”고 했다. 그는 “보안은 사고 전에는 비용으로 인식된다”며 “피지컬 AI 시대에는 더 큰 사고가 날 수 있어, 책임 주체를 미리 정할 수 있도록 거버넌스 구조를 바꿔야 한다”고 조언했다.

또한 그는 피지컬 AI의 보안 문제에 대한 특별법이나 위원회가 필요하더라도 권한과 예산이 없으면 책임을 나누는 장치에 그칠 수 있다고 봤다. 이에 따라 “인증 기준을 충족하지 못한 제품의 공공 조달 배제, 제조사의 패치 의무, 취약점 공시, SBOM 운영, 데이터 전송 검증, 정기 레드팀 훈련 같은 집행 체계가 함께 필요하다”고 제언했다.

피지컬 AI의 보안과 안전 논의를 사회 전반에서 합의할 수 있는 시스템이 필요하다는 의견도 나왔다. 김호림 동양대학교 교수는 피지컬 AI 보안 문제를 정부나 기업만의 과제로 보기 어렵다고 짚었다. 자율주행 차량이나 배달 로봇이 조작된 문구를 명령으로 오인해 사람에게 피해를 줄 수 있는 만큼, 제조사와 운영자 사이의 책임 분담 기준을 사회적으로 논의해야 한다는 취지다.

김 교수는 이해관계자가 참여하는 라운드테이블을 상설화하고, 시민이 참여하는 감시·검증 패널을 마련하는 방안도 제안했다. 그는 “피지컬 AI 보안이 기술 규제에 그치지 않고 시민 안전과 직결되는 문제인 만큼, 국회와 학계, 기업, 시민사회가 함께 검증 구조를 만들어야 한다”고 강조했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network