Cloudflare는 검색 엔진용 웹 사이트를 색인화하고 AI 에이전트 역할을 하는 혼합 사용 웹 크롤러를 차단할 계획을 발표했습니다. 이러한 변화는 고객이 AI 챗봇을 위해 사이트를 스크랩하는 것을 거부할 수 있도록 허용했던 회사의 이전 정책에서 벗어났습니다. Cloudflare는 이제 기본적으로 보다 방어적인 자세를 채택하고 있습니다.
매튜 프린스 CEO는 “이제 인터넷 트래픽의 대부분은 사람이 아닌 곳에서 발생하므로 지속 가능한 생태계가 등장할 수 있도록 더 나아가 더 빠르게 행동해야 한다”고 말했습니다. 새로운 정책은 웹 사이트 소유자에게 가시성과 상업적 기회를 유지하면서 AI 회사가 콘텐츠를 사용하는 방식에 대한 더 큰 통제권을 제공하도록 설계되었습니다.
2026년 9월 15일부터 새 웹사이트를 시작하는 신규 고객과 기존 Cloudflare 가입자는 기본적으로 검색을 허용하지만 광고를 호스팅하는 페이지에 대한 AI 교육 및 에이전트 사용은 차단합니다. 사이트 소유자가 AI 사용을 제어하는 것을 허용하지 않는 혼합 사용 크롤러도 광고 지원 페이지에서 차단됩니다. 무료 계정 사용자는 마감일 전에 선택 해제하지 않는 한 이러한 새로운 기본값으로 전환됩니다.
Cloudflare는 현재 Pay Per Use라고 불리는 Pay Per Crawl 기능을 향상하고 있습니다. 이러한 변화를 통해 사이트 소유자는 단순히 크롤링이 아닌 AI 챗봇 응답에서 콘텐츠가 사용되는 방식에 따라 수익을 얻을 수 있습니다. 현재 회사는 Ceramic.AI, You.com과 제휴를 맺고 있으며, 추가적인 AI 기업 참여 노력을 제안하고 있습니다.
이 정책은 또한 Google을 간접적으로 표적으로 삼는 것으로 보입니다. Cloudflare의 발표는 검색 인덱싱을 AI 훈련과 통합함으로써 “가장 큰 검색 엔진이 선도적인 AI 회사보다 약 2배 더 많은 정보에 액세스할 수 있다”는 것을 나타냅니다. Googlebot은 색인 생성과 훈련을 모두 담당하지만 게시자에게는 기존 검색과 AI 애플리케이션 간의 콘텐츠 사용을 분리할 수 있는 옵션이 부족합니다.
Cloudflare는 혼합 사용 크롤러가 검색 기능과 AI 훈련 기능을 보다 명확하게 구분하도록 장려하는 것을 목표로 합니다. 이번 조치는 구글을 비롯한 유사한 관행을 갖고 있는 기업들의 접근 방식 수정을 촉구하기 위한 전략으로 자리잡고 있다.
<시간 />
