[AI 전환 커머스 ④] AI 크롤러 봇을 보는 이커머스 플랫폼: 적극 열거나, 막거나

AI가 검색창을 열고, 상품을 고르고, 결제 버튼을 누른다. 소비자가 직접 클릭하던 자리를 AI가 대신 채우는 시대가 열리고 있다. 이미 업계 안팎에서는 AI 쇼핑 에이전트가 커머스의 판도를 바꿀 것이라는 전망이 정설로 굳어지고 있다. 에이전틱 커머스라는 파도는 이미 해안에 닿았다. 유통업계에 남은 시간이 많지 않다. 준비하지 못한 기업은 소비자의 선택지에서 조용히 사라질 것이라는 경고가 나온다. [AI 전환 커머스 2026] 기획은 AI 쇼핑이 어디까지 왔는지 현재를 짚고, 유통업계가 어떻게 대비해야 하는지를 살펴본다.[편집자주]

[AI 전환 커머스 2026 ①] 검색이 장바구니가 되는 시대
[AI 전환 커머스 2026 ②] SEO와 다른 GEO, 어떻게 대응해야 하나
[AI 전환 커머스 2026 ③] 한국 이커머스는 왜 챗GPT에 안 나올까
[AI 전환 커머스 ④] 이커머스 플랫폼의 GEO 대응: 적극 열거나, 막거나
[AI 전환 커머스 ⑤] MCP 구축하는 이커머스 플랫폼
[AI 전환 커머스 2026 ⑥] AI 에이전트 앞에 선 한국 이커머스

검색의 무게중심이 구글, 네이버와 같은 검색 엔진에서 챗GPT, 클로드 같은 LLM 기반 AI 대화형 서비스로 이동하면서, 웹 트래픽의 지형이 바뀌고 있다.

이러한 변화는 셀러와 브랜드 운영 기업에게만 닥친 문제가 아니다. 잠재 이용자를 끌어들이려는 커머스 플랫폼 또한 그 최전선에 놓인 당사자다. 

소비자들의 탐색 경로가 AI 서비스로까지 확대됨에 따라, 이커머스 플랫폼을 포함해 각종 웹사이트로의 AI 챗봇 경유 유입량은 계속해 늘어나고 있다.

글로벌 커머스 인텔리전스 기업 크리테오 ‘2026 커머스와 AI 트렌드 리포트’에 따르면, 한국 소비자의 40% 이상은 상품을 비교하고 발견하기 위한 채널로 AI 서비스를 활용하고 있다. 소비자의 검색 의도를 분석하는 리스닝마인드 운영사 어센트AI 박세용 대표는 “LLM 기반 AI 대화형 서비스로부터 (웹사이트로의) 평균 유입량이 8~10% 가량으로 증가하는 추세”라고 말했다. 

하지만 AI 챗봇을 바라보는 플랫폼의 입장은 제각각이다. 특히 웹사이트를 자동으로 스캔하는 크롤러봇, 그중에서도 LLM 모델 학습과 검색, 이용자 응답에 쓰이는 AI 크롤러봇을 어떻게 대하느냐에서 각 사의 전략이 드러난다.

<바이라인네트워크>가 robots.txt를 통해 쿠팡, 네이버쇼핑을 포함한 국내 19개 이커머스 플랫폼의 AI 크롤링 허용 현황을 분석한 결과, 각 플랫폼의 대처 방안은 모두 달랐다.

robots.txt는 웹사이트 운영자가 일종의 로봇인 ‘크롤러’에게 ‘어떤 페이지를 학습 혹은 수집하거나, 또 다른 페이지는 수집하지 말아달라’고 요청하는 국제적인 지침이다. 강제성이 없지만, 각 플랫폼이 정해둔 원칙이기도 하다.

robots.txt에 따라 살펴본 국내 이커머스 플랫폼의 전략은 크게 두 가지로 나뉜다. 학습과 응답을 열어 AI를 신규 유입 채널로 끌어안는 ‘개방형’, 양쪽 모두 차단해 데이터를 지키는 ‘보호형’이다. 

또 수동적인 robots.txt에서 한 발 더 나아가 MCP(Model Context Protocol) 등 보다 AI 시대에 적극적으로 전략을 모색하는 이들도 있다. 관련 대응으로 두드러지는 국내 이커머스 플랫폼들이 왜 이러한 방식을 취했는지 살펴본다. 

AI 크롤러 환영합니다 ‘적극 개방형’

AI 크롤러를 긍정적인 관점에서 세심하게 다루고 있는 이커머스 플랫폼의 대표적인 예시는 무신사와 롯데온, CJ올리브영 등이다. 세 회사 모두 웹·AI 크롤러를 단계별로 나누고, 크롤러마다 접근 수준을 달리 하는 방식을 취했다. 

무신사는 크롤러를 3단계로 분류하고, 이들마다 각기 다른 권한을 부여하는 방식을 취했다. 먼저 AI 서비스의 검색 응답용 크롤러에는 문을 활짝 열었다. 오픈AI의 OAI-SearchBot과 ChatGPT-User, 앤트로픽의 Claude-User, Claude-SearchBot, 퍼플렉시티의 Perplexity-User가 대표적인 예시다. 또 GPTBot, ClaudeBot, Google-Extended와 같은 AI 서비스의  학습용 크롤러와 검색 엔진 크롤러 경우, 개인화 영역을 차단했다. 이에 명시되지 않은 나머지 봇은 전면 차단했다.

무신사 측은 “무신사 제품에 노출돼 좋은 관점에서는 노출하고, 리소스 등 여러 측면에서 도움이 되지 않는 건 허용하지 않는다”고 답했다. 

롯데온은 무신사보다 한 층 더 세심하게 대응하고 있다. 특히 최신 AI 생태계를 전면 반영해 robots.txt를 작성했다.

롯데온은 AI 크롤러에 문을 연 대신, 크롤러의 요청과 요청 사이에 일정 시간을 요청하는 등 목적에 따라 미세하게 대기 시간을 조정했다. 롯데온은 OAI-SearchBot, Claude-SearchBot, Perplexity-User 등 AI 서비스의 검색 응답용 크롤러를 허용한 대신 대기 시간 3초를 명시했다.

이에 더해 DeepSeekBot, GrokBot(xAI), Gemini-Deep-Research, GoogleAgent-Mariner 등 다양한 AI 학습용 크롤러도 허용한 대신, 5초 대기 시간을 조정했다. 이는 서버에 과부하가 가지 않는 방향에서 자사 플랫폼에 유익한 방향으로 크롤러에 대응한 것으로 풀이된다.

롯데온은 “롯데온으로 회원이 유입되고 롯데온에 있는 제품을 발견하는 채널로 보고 있다”며, “외부 AI 환경에서도 상품 정보가 정확히 전달되도록 관리하고 있다”고 답했다.

CJ올리브영은 AI 크롤러를 검색봇과 동급으로 허용하되, 오픈AI·앤트로픽·퍼플렉시티·구글·애플 등 AI 크롤러를 명시적으로 나열했다. 또 롯데온처럼 대기 시간 5초를 전체에 적용했다. 회사 측은 “올리브영의 경우, 데이터 보안과 온라인몰의 원활한 운영을 위해 분당 수천 건 이상의 협의되지 않은 정보 수집 시도는 막고 있다”고 설명했다.

40대 이상 여성 패션 플랫폼 ‘퀸잇’ 또한 오픈AI와 클로드 등의 AI 크롤러를 허용했다. 특히 이 연령대가 AI 검색·추천으로 이동하는 흐름을 의식한 것으로 풀이된다. 퀸잇 측은 “트래픽을 얻을 수 있는 좋은 통로가 새로 열렸다는 판단 아래 GPT나 클로드를 통해 들어오는 순수 유입을 고려해 문을 여는 전략을 취하고 있다”고 답했다. 

AI 크롤러 개방을 준비하고 있는 기업도 있다. 현대백화점의 프리미엄 큐레이션 플랫폼 ‘더현대 하이’는 AI 크롤러봇 일부에만 문을 열었다. 회사는 “오픈 초기 과도한 트래픽 부담을 줄이기 위해 일부 AI 크롤러만 허용했으며, 허용 범위를 단계적으로 넓혀갈 계획”이라고 설명했다. 또 “더현대 하이의 콘텐츠와 상품이 AI 검색 결과에 반영될 수 있도록, 출산·선물·생일 등 일부 주요 키워드를 상품명에 반영해 선보이고 있다”고 설명했다. 

‘플랫폼 생태계 위해’…꽁꽁 감춰둔 ‘데이터 보호형’

플랫폼 생태계를 공고하게 유지하고 있는 서비스들은 AI 크롤러를 아예 차단하고 있다. 대표적인 예시가 네이버와 당근이다.

네이버플러스 스토어는 AI 크롤링과 검색증강 목적의 접근을 아예 막는 방식을 택하고 있다. 특히 robots.txt에 ‘AI 크롤링 및 검색 증강 생성(RAG) 목적 접근 금지’를 직접 명시했을 뿐만 아니라, 오픈AI와 클로드 등 AI 서비스 운영 기업의 크롤러를 하나하나 짚어 크롤링을 허용하지 않는다고 기재했다. 단, 네이버 자체봇은 스토어와 브랜드 경로만 차단하고, 나머지를 전면 허용했다. 

당근은 네이버보다 한 발 더 나아갔다. 40개 이상 봇을 개별 명시해 사실상 전체를 차단했다. 당근이 차단한 크롤러는 오픈AI, 클로드 등 뿐만 아니라 AI 데이터 추출 전문 업체, 이미지 데이터셋 수집 도구 등도 포함한다.

네이버와 당근 모두 자사 데이터를 보호하기 위해 이 같은 선택을 했다고 설명했다. 두 기업 모두 각 분야에서 점유율이 높고 여러 서비스를 통해 플랫폼 내 생태계를 구축해온 기업이라는 점에서, 외부 AI를 통한 유입을 확보하는 전략을 굳이 활용하지 않은 것으로도 해석된다.

이 외 플랫폼 중에는 서버 과부하를 막기 위해 GPTbot을 초기에 차단하기도 했다. 지그재그가 대표적인 예시다. 또 지마켓은 2023년경 robots.txt 내에 GPTbot을 허용한다고 짚어뒀다. 단 다른 봇들은 명시하지 않았다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network