가트너 “AI에 입력한 업무 정보, 기록 삭제해도 남는다”

직원이 인공지능(AI) 서비스에 업무 정보를 입력했다면 대화 기록을 삭제하더라도 해당 정보가 AI 서비스 제공업체의 서버에 남아 있을 수 있다는 분석이 나왔다. 특히 유출된 정보가 AI 모델 학습에 활용되면 완전히 제거하기 어려워 기업의 신속한 대응이 필요하다는 지적이다.

글로벌 시장조사업체 가트너는 지난 8일 발표한 ‘섀도우 AI 데이터 유출에 신속히 대응하라(Act Quickly to Remediate Shadow AI Data Loss)’ 보고서에서 이같이 밝혔다. 섀도우 AI(Shadow AI)는 기업이나 조직의 공식 승인 없이 임직원이 사용하는 AI 서비스를 뜻한다. 직원이 개인 계정으로 생성형 AI에 접속해 고객정보나 내부 문서, 소스코드 등을 입력하는 것이 대표적인 사례다.

가트너는 섀도우 AI에 입력한 정보가 대화 기록뿐 아니라 서버의 요청·응답 로그, 보안 모니터링 저장소, 캐시, 백업 시스템, AI 학습용 데이터 등에 분산 저장될 수 있다고 설명했다. 각 저장 영역은 정보 보관기간과 삭제 방식이 달라 사용자가 대화 기록을 삭제해도 모든 정보가 제거됐다고 볼 수 없다는 것이다.

가트너가 인용한 IBM의 ‘2026 데이터 유출 비용 보고서’에 따르면, 전체 보안 사고 가운데 섀도우 AI와 관련된 사고 비중은 전년 대비 2배 이상 증가한 43%로 나타났다. 섀도우 AI 관련 사고의 평균 피해 비용은 539만달러였으며, 해당 사고의 절반 가까이에서 데이터 유출이나 침해가 발생했다.

가트너는 기업이 유출된 정보를 삭제할 수 있는 시점과 이미 제거하기 어려워진 시점을 구분해야 한다고 강조했다. 특히 AI 모델 학습 여부가 중요한 판단 기준이라고 설명했다. AI에 입력한 정보가 대화 기록이나 서버 로그 형태로 남아 있다면 삭제를 요청할 수 있지만, 학습 과정에서 모델의 가중치에 반영되면 상황이 달라진다.

AI 모델의 가중치는 학습 과정에서 조정되는 수치로, 모델이 질문을 이해하고 답변을 생성하는 데 활용된다. 정보가 이 과정에 반영되면 기존 데이터베이스에서 특정 기록을 삭제하는 방식으로는 제거할 수 없다.

가트너는 모델이 학습한 특정 정보를 선택적으로 제거하는 ‘머신 언러닝(Machine Unlearning)’ 기술이 아직 연구 단계에 있으며, 해당 데이터를 제외하고 모델을 다시 학습시키는 방식도 경제적으로 현실성이 낮다고 분석했다. 이에 따라 기업은 섀도우 AI를 통한 정보 유출을 발견하면 해당 AI 서비스의 학습 활용 설정부터 중단해야 한다고 권고했다. 대화 기록과 메모리, 개인화 정보 등을 삭제하고 서비스 제공업체에 공식적인 데이터 삭제 요청을 해야 한다.

다만 학습 활용 중단 설정은 일반적으로 향후 학습에만 적용된다. 이미 완료된 모델 학습에 사용된 정보를 소급해 제거하는 조치는 아니라는 설명이다.

기업용과 개인용 AI 서비스의 차이도 확인해야 한다. 같은 AI 서비스를 사용하더라도 계정 유형에 따라 데이터 보관기간과 학습 활용 여부, 관리자가 적용할 수 있는 통제 기능이 다르기 때문이다.

가트너는 기업이 직원의 AI 사용 내역을 조사할 때 서비스 이름뿐 아니라 개인용·기업용 계정 여부와 파일 업로드, 메모리, 외부 서비스 연결 기능 등의 사용 여부를 확인하도록 권고했다.

데이터 삭제 여부를 검증하는 과정도 필요하다. AI 서비스 제공업체가 정보 삭제를 확인하더라도 대화 기록만 삭제했는지, 서버 로그와 백업 데이터까지 제거했는지 구체적으로 확인해야 한다는 것이다.

가트너는 기업이 유출된 정보의 종류와 저장 위치, 예상 삭제 시점, 남아 있는 위험을 기록하도록 권고했다. 특히 비밀번호나 인증정보가 노출됐다면 즉시 변경하고 관련 정보가 AI 모델의 답변에 다시 나타나는지도 점검해야 한다고 설명했다.

이미 모델 학습에 사용된 정보는 삭제보다 추가 노출 위험을 관리하는 데 초점을 맞춰야 한다. 가트너는 원본 시스템에서 정보를 삭제했다는 이유만으로 사고 대응을 끝내서는 안 되며, 남아 있는 정보와 위험을 평가해 개인정보 유출 통지 필요성도 판단해야 한다고 강조했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network