로봇이 찍고 AI 에이전트가 결제…개인정보·보안 기준 다시 짜야

휴머노이드와 자율주행차, 로봇청소기처럼 현실 공간에서 움직이며 다양한 데이터를 수집해 업무를 수행하는 피지컬 인공지능(AI) 기술이 빠르게 발전하면서, 이에 맞는 개인정보 보호와 보안 기준을 다시 정비해야 한다는 논의가 확대되고 있다.

김선희 법무법인 율촌 변호사는 6일 서울 강남구 법무법인 율촌에서 열린 ‘AI & 커뮤니케이션 거버넌스의 새출발, 혁신과 규율의 교차점’ 세미나에서 “피지컬 AI와 에이전틱 AI는 기존 동의 중심 규제로 설명하기 어려운 장면을 만들고 있다”며 “최소 수집과 권리 보장, 권한 통제, 통신 보호를 함께 설계해야 한다”고 강조했다.

AI 규율의 쟁점은 이제 단순한 정보 처리에서 현실 세계의 행동과 자율 실행으로 옮겨가고 있다. 피지컬 AI는 센서로 환경 데이터를 수집하고, 이를 바탕으로 판단한 뒤, 물리 장치를 움직여 실제 행동을 수행하는 시스템이다. 에이전틱 AI는 여러 AI 에이전트가 목표를 나눠 처리하고 외부 도구를 호출해 일정 등록, 예매, 결제 같은 업무를 사용자 개입 없이 이어서 수행하는 구조다. 편의는 커졌지만, 현행 법제는 이런 기술의 작동 방식과 완전히 맞물려 있지 않다.

피지컬 AI가 찍는 영상, 촬영 동의 받기 어렵다

김 변호사는 피지컬 AI의 첫 번째 쟁점으로 영상 정보를 들었다. 공개된 장소에서 업무 목적으로 영상정보처리기기를 운영할 때는 개인정보보호법 제25조의2에 따라 일정 요건 아래 촬영이 가능하다. 촬영 사실을 알렸는데도 정보주체가 거부 의사를 밝히지 않으면 처리 근거가 될 수 있다는 구조다.

문제는 이 틀이 CCTV를 중심으로 짜였다는 점이다. 바디캠이나 근접 촬영 장비는 촬영 사실을 인지하고 거부 의사를 표시하기가 상대적으로 쉽다. 반면 자율주행차, 드론, 서빙 로봇, 배달 로봇처럼 이동성이 큰 장치는 다르다. 촬영을 피하기 어렵고, 현장에서 거부 의사를 밝히기도 쉽지 않다. 사후 삭제를 요구하더라도 본인이 영상 속 당사자임을 입증하려면 추가 개인정보를 제출해야 할 수 있고, 실제로 특정 인물을 식별해 삭제하는 작업도 간단하지 않다.

김 변호사는 이런 환경에서는 “동의를 받았는가”보다 “권리 침해를 얼마나 줄였는가”가 더 중요해진다고 설명했다. 꼭 필요한 영상만 남기고 나머지는 삭제하거나, 기술 개발에 필요한 영상은 개인 식별 가능성을 낮춘 익명·가명 처리로 활용하는 방향이 바람직하다는 것이다. 결국 촬영 목적의 정당성, 수단의 적합성, 열람·삭제·정정 요구를 보장하는 절차, 내부 관리체계와 안전조치가 법적 정당성 판단의 핵심 기준이 된다는 설명이다.

영상 밖으로 넓어지는 개인정보 문제

피지컬 AI가 수집하는 정보는 영상에 그치지 않는다. 로봇과 음성으로 상호작용하면 음성정보가 쌓이고, 함께 생활하거나 일하는 과정에서는 생활 패턴이 드러난다. 헬스케어 로봇은 건강정보까지 다룬다. 이런 정보는 공개된 장소의 영상정보 처리 특례만으로 설명되지 않는다. 원칙으로 돌아가 ‘개인정보의 수집·이용 원칙(제15조)’에 따른 처리 근거를 따져야 한다는 설명이다.

현장에서는 더 복잡한 문제가 생긴다. 사무실이나 공장처럼 출입이 통제된 공간은 공개된 장소가 아니어서 개인정보보호법을 적용하기 어렵다. 그렇다고 근로자 동의를 받는 것도 쉽지 않다. 동의를 거부한 사람이 있으면 서비스 도입이 어려워질 수 있고, 동의를 받더라도 그 의사가 자유로운지 논란이 생길 수 있다. 계약 이행 근거를 적용하기에도 한계가 있다.

김 변호사는 “이런 경우 정당한 이익 같은 근거를 검토하게 되는데, 이때는 정보주체 권리 침해 위험을 얼마나 낮췄는지가 핵심”이라고 설명했다. 안전하게 보관하고, 목적 외 이용을 줄이고, 권리 행사 절차를 마련할수록 정당성이 커질 수 있다는 취지다.

피지컬 AI의 보안 사고, 곧 물리 피해로 이어져

피지컬 AI의 보안 문제는 일반 정보 유출보다 훨씬 직접적이다. 기존 개인정보 침해가 주로 사생활 침해나 피싱 같은 2차 피해를 낳았다면, 피지컬 AI는 오작동 자체가 인명 피해나 재산 피해로 이어질 수 있다. 김 변호사는 AI 백도어와 회피 공격, 외부 침입, 센서 교란 같은 위협을 예로 들었다.

AI 백도어는 특정 조건에서 허용되지 않은 동작을 하게 만들거나 과도한 연산을 유도해 지연을 일으키는 방식이다. 회피 공격은 입력 데이터를 변조해 AI 판단을 속이는 공격이다. 자율주행차가 정지 표지판을 잘못 인식하거나, 장애물과 보행자를 오인하도록 만드는 식이다. 피지컬 AI는 주변 사람과 환경에 직접 영향을 주기 때문에 이런 공격이 곧 물리적 안전 문제로 번질 수 있다.

대응 방향은 비교적 분명하다. 적대적 공격을 고려한 사전 학습, 과도한 권한 제한, 안전모드 탑재, 실시간 로그 모니터링, 이상행동 탐지, 비상 대응체계, 통신 구간 보호가 기본 대책으로 제시됐다. 김 변호사는 특히 정보가 입력되고 전송되는 과정 자체를 보호하는 조치가 중요하다고 강조했다.

에이전틱 AI, 목적 제한 원칙을 흔든다

에이전틱 AI도 문제다. 이 기술은 사용자가 “출장 준비를 해달라”고 지시하면 행정 포털에 접속해 출장 신청을 하고, 캘린더에 일정을 등록하고, 예매 사이트에서 교통편을 예약하는 식으로 여러 단계를 자율적으로 이어서 수행한다. 편의는 크지만, 개인정보 보호의 기본 원칙인 목적 명확화와 최소 수집 원칙을 적용하기가 더 어려워진다.

기존에는 데이터를 수집할 때 “이 목적으로 쓰겠다”고 설명하고 동의를 받는 구조가 기본이었다. 그러나 에이전틱 AI는 이미 보유한 정보와 새로 들어오는 데이터를 결합해 그때그때 판단을 내리고, 필요한 외부 도구를 호출해 다음 행동으로 넘어간다. 처음 수집 시점에 모든 활용 목적을 구체적으로 적어두기 어렵다는 뜻이다.

김 변호사는 에이전틱 AI의 자동화된 의사결정이 늘어날수록 설명과 통제 방식도 바뀌어야 한다고 봤다. 사전에 포괄적으로 동의를 받아두는 방식보다, 이용자가 어떤 데이터에 접근할지, 어떤 도구를 쓸지, 어떤 시스템에 연결할지 일상적으로 통제할 수 있는 구조가 더 중요해진다는 설명이다. 이는 개인정보 자기결정권의 행사 방식 자체가 바뀌고 있다는 의미이기도 하다.

에이전틱 AI는 기존 데이터를 단순 재사용하는 데서 끝나지 않는다. 예약 내역, 구매 내역, 이동 기록이 쌓이면 질병, 종교, 경제 상황 같은 민감한 속성을 추론할 수 있다. 문제는 이런 정보가 애초에 따로 수집한 것이 아니라 처리 과정에서 새로 생성된 결과물이라는 점이다. 김 변호사는 이 경우 어떤 법적 근거로 이런 정보를 다룰지, 민감정보 추론이 일어나지 않도록 기술적으로 막을 수 있을지를 함께 논의해야 한다고 설명했다.

생성형 AI 특성상 할루시네이션으로 부정확한 개인정보가 만들어질 수 있다는 점도 문제다. 잘못 생성된 정보가 다른 에이전트나 외부 시스템으로 전달되면 불투명한 결정이나 불이익으로 이어질 수 있다. 정보의 정확성을 유지하고, 정정과 삭제를 요구할 수 있는 권리 보장이 더 중요해지는 이유다.

또 다른 쟁점은 목적 외 이용이다. 에이전틱 AI는 메모리를 활용하고 외부 도구를 호출하면서 여러 작업을 연쇄적으로 수행한다. 이 과정에서 애초 예상하지 못했던 개인정보 이용이 일어날 수 있다. 김 변호사는 이런 위험을 줄이려면 개인정보 영향평가와 개선 체계, 상시 모니터링이 필요하다고 말했다.

예약·결제 자동화, 제3자 제공과 국외 이전도 쟁점

현행 법 체계에서 민감한 지점은 ‘사용자 대신 처리’와 ‘제3자 제공’의 경계다. 김 변호사는 과거 여행 기록을 바탕으로 숙소와 식당, 여행 상품을 추천하고 예약·결제까지 대신해주는 에이전틱 AI를 예로 들었다.

내부적으로 기존 예약 기록과 결제 기록을 활용하는 단계는 계약 이행에 필요한 범위, 정당한 이익, 합리적으로 관련된 범위 같은 근거를 검토할 수 있다. 다만 실제 예약과 결제를 하려면 외부 사업자에 정보를 제공해야 하므로, 그 제공 단계의 법적 근거를 따로 따져야 한다는 설명이다. 에이전틱 AI가 사람을 대신해 행동할수록 내부 처리와 외부 제공의 경계가 흐려질 수밖에 없다는 점이 새 쟁점으로 떠오를 수 있다.

국외 이전 문제도 커진다. 여행, 예약, 결제 서비스는 본질적으로 해외 사업자와 연결되는 경우가 많기 때문이다. 김 변호사는 적정성 결정을 받은 국가가 아닌 곳으로 개인정보를 이전할 때 현재는 동의가 원칙이라며, 국경을 넘는 데이터 이전이 필요한 에이전틱 AI 서비스에는 제도 개선 논의가 필요할 수 있다고 봤다. 국내 이용자가 해외 숙소를 예약하고 해외 식당을 예약하는 과정까지 AI가 자동 처리하는 시대에, 기존 개별 동의 방식만으로는 실제 서비스 흐름을 따라가기 어렵다는 것이다.

해법은 최소 권한과 사람의 승인

에이전틱 AI의 보안 위협도 구조적으로 크다. 높은 자율성과 외부 도구 호출, 연쇄 실행 구조 때문에 과도한 권한이 부여되거나 잘못된 데이터와 명령이 들어오면 피해가 빠르게 커질 수 있다. 학습 데이터 오염, 메모리 오염, 부적절한 도구 사용, 통신 공격 등이 대표 위험으로 제시됐다.

김 변호사는 해결책으로 데이터 검사와 입출력 필터링, 메모리 오염 방지, 최소 권한 부여, 민감 명령에 대한 인간 승인 절차, 허용된 도구만 쓰는 화이트리스트 방식, 취약점 점검과 모니터링 체계를 제시했다. 사람 대신 실행하는 AI가 많아질수록 기술적 통제 장치와 법적 보호 장치가 함께 가야 한다는 뜻이다.

그는 이런 논의가 AI기본법의 고영향 AI 규율과도 맞닿아 있다고 봤다. 사람의 생명·신체·안전이나 기본권에 중대한 영향을 미치는 영역에서는 위험 관리와 이용자 보호 방안이 핵심 의무가 되기 때문이다.

김 변호사는 “피지컬 AI 시대에는 어떤 정보를 꼭 필요한 만큼만 쓰는지, 위험한 판단과 행위를 어디서 멈출지, 이용자가 실제로 어떤 통제권을 가질 수 있는지, 통신과 실행 구간을 얼마나 안전하게 지킬 수 있는지가 새 기준이 되고 있다”고 말했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network