클라우드플레어, ‘AI 크롤러’ 기본 차단… 허가 기반 접근으로

클라우드플레어는 인공지능(AI) 크롤러의 웹 콘텐츠 무단 수집을 기본으로 차단하는 정책을 도입했다고 2일 밝혔다.

웹사이트 소유자가 AI 크롤러의 접근 여부를 사전에 설정하고, 콘텐츠 활용 목적에 따라 허용 여부를 직접 선택할 수 있는 ‘허가 기반 접근’ 모델을 적용했다.

클라우드플레어는 AI 시대에 콘텐츠 창작자의 권한 회복과 인터넷 생태계 보호를 목표로 이번 정책을 시행했다. 이 조치로 AI 기업은 크롤링 목적을 학습·추론·검색 등으로 구체화해야 하며, 웹사이트 운영자는 이 정보에 따라 AI 기업의 크롤링 가능 여부를 결정할 수 있다.

기존 검색 엔진은 콘텐츠 색인을 통해 웹사이트 방문을 유도하고, 이에 따라 창작자는 트래픽과 광고 수익을 얻는 구조였다. 하지만 AI 크롤러가 답변 생성을 목적으로 웹 콘텐츠를 마음대로 가져가기 시작하면서 원 출처로의 방문 없이 정보를 소비하게 만들었고, 창작 동기 자체를 약화시킨다는 비판이 나오기 시작했다.

이러한 문제를 해결하기 위해 클라우드플레어는 AI 크롤러를 차단할 수 있는 방법을 고안하기 시작했다. 2024년 9월 클릭 한 번으로 AI 크롤러 차단을 설정할 수 있는 기능을 도입했으며, 현재 100만개 이상의 웹사이트에서 해당 기능이 사용되고 있다. 이번에는 한발 더 나아가 기본값 자체를 ‘차단’으로 전환했다. 새로 가입하는 웹사이트는 AI 크롤러 허용 여부를 초기에 선택해야 하며, 별도로 설정하지 않아도 자동으로 콘텐츠를 보호한다.

매튜 프린스 클라우드플레어 공동 창립자 겸 CEO는 “AI 크롤러가 사실상 무제한으로 콘텐츠를 수집해온 지금까지의 관행에서 벗어나, 창작자에게 정당한 통제권을 돌려주는 것이 필요하다”며 “인터넷은 퍼블리셔와 소비자, AI 기업이 함께 공존하는 모델이어야 하며, 창작자가 대가 없이 콘텐츠를 빼앗기지 않도록 하는 것이 자유롭고 지속 가능한 인터넷의 기반”이라고 강조했다.

스티브 허프먼 레딧 공동 창립자 겸 CEO는 “웹사이트를 크롤링하는 모든 이는 신원을 밝혀야 하며, 웹상의 모든 플랫폼은 누가 왜 콘텐츠를 수집하는지 통제권을 가져야 한다”며 “클라우드플레어의 결정은 올바른 방향으로의 첫걸음”이라고 밝혔다.

클라우드플레어는 AI 봇이 스스로를 인증하고, 웹사이트가 이를 식별할 수 있도록 하는 새로운 기술도 개발하고 있다. AI 봇 개발자가 공통된 방식으로 정체성을 밝히는 프로토콜 관련 논의에도 참여하고 있다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network