“AI 시대 개인정보, 어디까지 쓸 수 있나”…′AI특례법’ 갈길 멀다

인공지능(AI) 기술 경쟁의 핵심이 컴퓨팅과 알고리즘을 넘어 학습 데이터 확보와 개인정보 활용까지 옮겨가면서, 개인정보를 AI의 학습에 어디까지 쓰고, 어떻게 보호해야 할지를 둘러싼 법·제도 논의가 활발해지고 있다.

서울대학교 공익산업법센터는 10일 서울 중구 더플라자호텔에서 제106회 학술세미나 ‘AX 시대의 법적 도전과 개인정보보호의 과제’를 열고, AI 학습 데이터 확보와 개인정보 침해 책임을 둘러싼 법적 쟁점을 논의했다. 이날 세미나에서는 ▲공개정보를 AI 학습에 써도 되는지 ▲AI 특례는 어떤 방식으로 설계해야 하는지 ▲생성형 AI의 출력과 학습 결과를 현행 개인정보 보호법으로 어떻게 다뤄야 하는지 등이 주로 다뤄졌다.

이날 이정렬 개인정보보호위원회 부위원장은 개회사에서 “개인정보가 다양하게 활용되는 AI 시대에는 개인정보 정책의 무게중심을 사후 처벌에서 사전 예방으로 옮겨야 한다”고 강조했다. 그는“ AI 학습 데이터의 적법성, AI 특례 입법, 새로운 손해배상 제도는 모두 개인정보위가 당면한 핵심 과제”라고 짚었다.

이 부위원장은 최근 개인정보 보호법의 개정 동향도 함께 언급했다. 최고경영자(CEO)의 최종 책임을 명문화하고, 정보보호 및 개인정보보호 관리체계(ISMS-P) 인증을 중요한 분야에 의무화하는 한편, 예방적 보호 투자에는 비례해 감경을 주는 구조로 제도를 바꾸겠다는 것이다. 그는 “앞으로는 모든 조직에 같은 강도로 규제를 적용하기보다, 국민 생활과 밀접한 고위험 영역에 더 엄격한 책임을 묻는 위협 기반 체계로 나아갈 것”이라고 밝혔다.

공개정보 학습, 개인정보 처리인지부터 따져야

윤주호 법무법인 태평양 변호사는 “AI와 개인정보 이슈를 학습 단계와 활용 단계로 나눠 봐야 한다”고 설명했다. 활용 단계는 사용자가 프롬프트에 개인정보를 넣거나 출력 과정에서 개인정보가 노출되는 문제다. 반면 지금 가장 논란이 큰 지점은 학습 단계다. AI 학습용 데이터에 개인정보가 포함됐을 때, 이를 어떤 법적 근거로 처리할 수 있는지가 핵심이다.

윤 변호사는 특히 ‘공개된 인터넷 정보를 AI가 학습하는 경우’를 짚었다. 기존 이용자 데이터는 기업이 원래 보유한 개인정보 파일을 활용하는 것이어서 ‘개인정보 처리자’에 해당한다는 점이 비교적 분명하다. 하지만 공개된 웹페이지나 기사 내용을 크롤링해 학습하는 경우에도 같은 개념을 그대로 적용할 수 있는지는 논란이 있을 수 있다.

또 다른 쟁점은 ‘공개정보를 AI 학습에 활용할 때의 적법 근거’다. 윤 변호사는 개인정보위가 이 경우 ‘정당한 이익’을 주요 근거로 제시해 왔다고 설명했다. 정당한 이익은 정보주체 동의가 없더라도, 처리 목적의 정당성과 필요성이 인정되고 정보주체 권리 침해보다 활용 필요성이 더 크면 예외적으로 개인정보 처리를 허용하는 기준이다. 다만 이 경우에도 보호조치가 충분했는지, 정보주체 권리를 보장했는지, 식별자를 얼마나 제거했는지 등을 함께 따져야 한다는 게 윤 변호사의 설명이다.

아울러 윤 변호사는 “이용자 개인정보를 AI에 활용하는 경우에는 법적 해석의 경계가 더 모호해졌다”고도 말했다. 기존에는 ‘수집 목적 내 이용’, ‘수집 목적과 합리적 관련성이 있는 이용’, ‘당초 목적과 별개인 신규 서비스’로 나눠 판단했지만, 이제는 메신저나 검색, 쇼핑 같은 기존 서비스 안에 AI 기능이 녹아들고 있어 어디까지가 같은 서비스이고 어디부터가 새로운 서비스인지 개인정보 활용 측면에서 구분하기가 쉽지 않다는 것이다. 그는 산업계가 답답해하는 지점도 바로 이 모호성이라고 설명했다.

AI 특례법, 일반 개인정보보다 가명정보 처리부터 풀어야

송시강 홍익대학교 법학대학 교수는 현재 논의되고 있는 AI 특례법을 두고 “시도 자체는 긍정적이지만 대상과 목적, 수단이 모두 더 분명해져야 한다”고 지적했다. “현재 발의된 AI특례법은 적법하게 수집한 개인정보를 일정 조건 아래 당초 목적 외로 처리할 수 있게 하는 내용인데, 정작 어떤 정보에 어떤 범위의 특례를 주려는 것인지는 불명확하다”는 것이다.

AI 특례법은 적법하게 수집한 개인정보를 AI 개발과 성능 개선에 예외적으로 활용할 수 있게 하자는 입법 논의를 말한다. 아직 시행되지는 않았으며, 관련 내용을 개인정보 보호법에 반영하기 위한 발의안이 국회에서 논의되고 있다. 현행 개인정보보호법은 수집 목적과 다른 용도로 정보를 쓰려면 다시 동의를 받는 구조인데, AI 학습은 대규모 데이터를 반복적으로 활용해야 해 기존 원칙만으로는 한계가 있다는 지적이 나온다. 이에 AI 특례법은 익명정보나 가명정보만으로 개발이 어려운 경우, 일정한 안전조치를 전제로 목적 외 활용을 허용하도록 하고 있다. 다만 어떤 정보까지 특례 대상에 포함할지, 개발 단계뿐 아니라 상용 서비스 운영 단계에도 적용할지, 개인정보위 심의를 어느 수준까지 거쳐야 하는지 등은 여전히 불분명한 상태다.

송 교수는 AI 특례법과 관련해 “개인정보 전체보다는 가명정보 문제를 먼저 좁혀 다룰 필요가 있다”고 봤다. 가명정보는 이름이나 주민등록번호 같은 개인 식별 요소를 가린 정보로, 추가 정보와 결합하면 다시 개인을 알아볼 수 있는 정보다. 현행법은 이를 여전히 개인정보로 본다. 송 교수는 “산업계가 실제로 답답해 하는 지점은 일반 개인정보 전체가 아니라 이런 가명정보의 활용인데, AI 특례법이 너무 넓은 범위를 한꺼번에 포함하려고 한다”고 지적했다. 그는 “불필요한 오해와 반발을 피하려면 필요한 가명정보 범위에 한정해 특례를 설계하는 편이 낫다”고 주장했다.

아울러 그는 ‘개인정보 처리의 절차 문제’도 제기했다. 현재 발의된 AI특례법은 일정 요건을 갖춘 경우 개인정보위 심의·의결을 받아 목적 외 처리를 허용하도록 명시하고 있다. 송 교수는 이 방식이 정보주체의 동의를 개인정보위 처분으로 바꾼 것에 가깝다고 봤다. 규제를 풀어준 것처럼 보이지만, 실제로는 또 다른 규제로 대체한 셈이라는 지적이다. 그는 “이런 구조라면 산업계가 원하는 예측 가능성을 충분히 주기 어렵고, 규제 샌드박스처럼 제한된 환경에서 실험을 허용하는 제도라고 보기에도 애매하다”고 평가했다. 규제 샌드박스는 신기술 실험을 위해 일정 기간 일부 규제를 유예하거나 면제하는 제도다.

AI의 기술적 특성에 맞는 개인정보 책임 기준 필요

AI 기술의 특성에 맞는 개인정보 책임 기준 필요하다는 주장도 나왔다. 이해원 강원대학교 법학전문대학원 교수는 “AI의 기술적 원리를 반영한 개인정보 책임 기준이 필요하다”고 강조했다. 기존 법체계가 상정한 개인정보 처리 개념만으로는, 기술적으로 굉장히 복잡한 AI의 책임 구조를 충분히 설명하기 어렵다는 것이다. 그는 이런 충돌을 ‘정확성 모순’으로 설명했다. 이 교수는 “AI가 답을 부정확하게 내놓으면 환각이라고 비판하고, 반대로 지나치게 정확하면 개인정보나 저작권 침해라고 비판한다“며 “학습 데이터의 양과 질이 모델 정확도에 비례하는데, 개인정보 개념은 워낙 넓어 사실상 대부분의 학습 데이터가 개인정보에 해당할 수 있다”고 지적했다.

또한 이 교수는 “법적 책임을 따질 때, AI의 알고리즘, 모델, 시스템의 개념을 나눠서 봐야 한다”고 강조했다. 알고리즘은 계산 원리, 모델은 학습된 결과물, 시스템은 실제 서비스에 붙는 응용 단계다. 지금까지는 같은 사업자가 모델을 만들고 서비스까지 운영하는 경우가 많아 한 덩어리로 다뤘지만, AX 시대에는 모델 개발자와 AI 에이전트 서비스 운영 주체가 달라질 수 있어 책임 구조도 달라질 수밖에 없다는 설명이다.

아울러 그는 “생성형 AI의 학습 결과와 출력물을 현행 개인정보보호법상 ‘개인정보 파일’로 곧바로 볼 수 있는지도 의문”이라고 짚었다. AI는 사람의 문장이나 이미지를 그대로 저장하는 것이 아니라, 이를 수치화한 뒤 확률적으로 다음 결과를 계산한다. 이때 남는 것은 문장 자체가 아니라 가중치 행렬이라는 숫자 배열인데, 이것이 과연 법이 상정한 개인정보 파일로 볼 수 있는지도 따져봐야 한다는 것이다. 다만 그는 “이런 문제와 별개로, 학습이나 출력이 실제 인격권 침해를 일으켰다면 민사상 손해배상 책임은 여전히 물을 수 있다”고 덧붙였다.

끝으로 이 교수는 개인정보 피해 손해배상 제도에 대해서는 보다 신중한 접근을 주문했다. 그는 “개인정보 사고 뒤 피해구제가 충분하지 않다는 문제의식에는 공감하지만, 현재 법체계가 개인정보 자기결정권을 인격권으로 보고 있는 이상 법원이 정신적 손해를 엄격하게 판단할 수밖에 없다”고 말했다. 단순 불쾌감이나 불안만으로는 손해배상이 쉽게 인정되지 않는 구조라는 것이다. 이어 그는 “손해배상 책임 강화 논의와 별개로, AX 환경에서 무엇을 개인정보 처리로 볼지를 더 정교하게 정리할 필요가 있다”고 말했다.

이번 세미나는 AI 시대의 개인정보 보호 기준을 더 이상 ‘개인정보 동의 여부’만으로 정리하기 어렵다는 점을 보여줬다. AI 학습에 방대한 데이터가 필요한 현실에서 공개정보 학습의 허용 범위, 가명정보 활용의 한계, 사전 심의와 사후 책임의 균형, 생성형 AI 출력의 법적 성격까지 현행법만으로는 답하기 어려운 쟁점이 나오고 있기 때문이다. 앞으로의 논의는 개인정보 보호와 AI 혁신을 대립 구도로만 보는 게 아니라, 기술 변화에 맞는 책임 기준과 예측 가능한 활용 원칙을 어떻게 새로 설계할지에 맞춰질 것으로 보인다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network