가트너 “개인정보 침해, 데이터 유출보다 AI 추론 경계해야”

가트너는 2029년까지 개인정보 침해 사고 대부분이 개인식별정보(PII)의 직접적인 유출보다 인공지능(AI)이 개인에 관해 생성한 추론에서 비롯될 것으로 전망했다고 3일 밝혔다.

AI 추론은 여러 데이터를 분석해 원본에 직접 포함되지 않은 개인의 특성이나 상태를 도출하는 것을 뜻한다. 생성형 AI와 머신러닝 기술이 발전하면서 익명·집계 데이터만으로도 개인의 건강 상태나 행동 패턴 등 민감한 정보를 유추할 수 있다는 설명이다.

바트 빌렘센 가트너 수석 애널리스트는 “개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다”며 “AI는 기존 데이터 통제에 구애받지 않고도 개인에 관한 심층적인 정보를 재현할 수 있다”고 말했다.

가트너는 기업이 규제와 비용 부담을 줄이기 위해 개인 데이터 보유량을 축소하더라도 추론 기반 개인정보 침해가 발생할 수 있다고 분석했다. 실제 개인정보 기록이 유출되지 않아도 AI가 여러 정보의 관계를 분석해 민감한 결론을 만들어낼 수 있기 때문이다.

추론 공격은 기존 유출 탐지 체계로 확인하기 어렵다는 문제도 있다. 데이터가 외부로 반출되지 않고 AI 시스템 내부에서 새로운 정보가 생성될 수 있어서다. 생성한 정보에 오류나 편향이 포함돼도 기업이 그 과정과 원인을 설명하거나 피해를 바로잡기 어려울 수 있다.

가트너는 보안 책임자가 저장된 개인정보뿐 아니라 AI 시스템이 개인에 관한 정보를 생성하고 활용하는 과정까지 관리해야 한다고 강조했다. 기업이 AI 프로필의 오류와 편향, 무단 생성에 대한 대응을 강화하면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 같은 수준에 이를 것으로 전망했다.

빌렘센 수석 애널리스트는 “개인정보를 데이터 보호 문제로만 인식하는 기업은 AI가 생성한 추론으로 인한 침해 사고에 갈수록 취약해질 것”이라며 “앞으로 개인정보 보호 위험은 기업의 데이터 저장 방식보다 AI의 데이터 해석 방식에 더 크게 좌우될 것”이라고 말했다.

가트너는 AI 개발과 배포 전 과정에 개인정보 보호 중심 설계(Privacy by Design) 원칙을 적용할 것을 권고했다. 알고리즘의 편향과 과적합, 의도하지 않은 추론 가능성도 정기적으로 점검해야 한다고 제시했다. 과적합은 AI가 학습 데이터에 지나치게 맞춰져 새로운 데이터에는 부정확한 결과를 내는 현상이다.

개인정보 보호 강화 기술(PET) 도입도 제안했다. 차등 개인정보 보호와 합성 데이터, 개인정보 보호형 머신러닝 등을 활용해 재식별 가능성을 줄여야 한다는 설명이다.

데이터 수집 범위를 필요한 수준으로 제한하고 접근 통제와 삭제 절차를 강화하는 방안도 포함됐다. 가트너는 간접적인 악용 행위와 추론 기반 위협을 식별할 수 있도록 이상 징후 탐지와 시나리오 분석 역량에 투자해야 한다고 밝혔다.

가트너는 AI가 추론할 수 있는 정보의 범위를 문서화하고 정기적으로 감사하는 절차도 필요하다고 강조했다. AI가 민감한 정보를 바탕으로 조치를 실행하기 전 사람이 결과를 검증하는 인간 참여형 검증(Human in the Loop) 구조도 적용할 것을 권고했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network