A Cloudflare acaba de dar à indústria de IA um novo prazo para separar os rastreadores da web usados para fins de pesquisa tradicionais, como a Pesquisa Google, daqueles usados para agentes e treinamento de IA. A partir de 15 de setembro de 2026, as configurações padrão da Cloudflare bloquearão rastreadores de “uso misto” de qualquer página que hospede anúncios, anunciou a empresa na quarta-feira.
Isso significa que os rastreadores que combinam pesquisa, uso do agente e treinamento serão impedidos de rastrear esses sites por padrão, a menos que o proprietário do site ajuste as configurações de outra forma. Essas alterações nos padrões serão aplicadas a novos clientes da Cloudflare, novos sites criados por clientes existentes e a todos os clientes gratuitos existentes, afirma a empresa.
A mudança pode impactar a forma como os provedores de modelos de IA conseguem acessar o conteúdo da web para fins de treinamento e para ajudar a potencializar seus serviços de agência.
A Cloudflare aponta que a maioria dos proprietários de sites deseja que seu conteúdo seja descoberto por meio de pesquisa e, muitas vezes, também por meio de serviços de IA, mas desejam proteções contra a cessão gratuita de sua propriedade intelectual.
A Cloudflare chama especificamente o “maior mecanismo de busca do mundo” (claramente uma referência do Google!) como tendo acesso a cerca de “2x mais informações” do que outras empresas de IA, porque o gigante das buscas torna difícil para os clientes permanecerem detectáveis sem serem usados para IA.
O Google resistiu a essa generalização no passado, observando que fornece um bot chamado Google estendido que permite que os proprietários de sites optem por não ter seu conteúdo usado para treinamento e produtos e serviços de IA, como Gemini Apps e Vertex API. Seu uso não afeta a inclusão de um site na Pesquisa Google. No entanto, o principal Googlebot da gigante da tecnologia rastreia a Pesquisa, incluindo recursos de IA como Visão Geral de IA e Modo AI.
“Agora que a maior parte do tráfego na Internet não é humano, devemos ir mais longe e agir mais rápido para que um ecossistema sustentável possa emergir”, disse o cofundador e CEO da Cloudflare, Matthew Prince, em seu anúncio da notícia, referindo-se ao recente marco. onde os bots ultrapassaram o tráfego humano online pela primeira vez. Não se esperava que essa mudança ocorresse até o próximo ano.
“As novas ferramentas e parcerias da Cloudflare proporcionam aos proprietários de sites maior visibilidade e oportunidades comerciais e beneficiam as empresas de IA que possuem bots com intenções claras e transparentes. Esperamos que nossas mudanças padrão propostas incentivem os rastreadores de uso misto a separar a pesquisa do uso e do treinamento dos agentes”, disse Prince.
Embora a Cloudflare ofereça vários produtos para ajudar os usuários lançar seus próprios sistemas de IAa empresa também lançou uma série de ferramentas para dar aos editores mais controle sobre seu conteúdo na era da IA. Nos últimos anos, Cloudflare lançou ferramentas para combater bots de IAincluindo um mercado que permite que sites cobrem bots de IA pela raspagemapelidado de Pay Per Crawl.
Este último também está evoluindo para “Pay Per Use”, disse a empresa, o que permitirá que os editores cobrem das empresas de IA quando seu conteúdo cria valor, e não apenas quando é obtido.
A mudança também pode ajudar a conservar a largura de banda dos editores e os recursos de computação para provedores de modelos de IA, já que os dados da Cloudflare sugerem que mais de 50% do tráfego de rastreamento de rastreadores de IA é gasto na busca de páginas inalteradas.
Para colocar isso em ação, a Cloudflare está trabalhando inicialmente com dois parceiros, Ceramic.ai e You.com. Quando um editor opta por participar, ele é pago quando seu conteúdo aparece nos resultados de pesquisa de IA da Ceramic ou quando o You.com acessa uma parte de seu conteúdo premium.
Outras empresas de IA podem personalizar esse modelo de acordo com a forma como funcionam, diz Cloudflare.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.
