Cloudflare está dificultando que las empresas de IA raspen la web abierta de forma gratuita. A partir del 15 de septiembre de 2026, la configuración predeterminada de la empresa bloqueará los rastreadores de «uso mixto», robots que indexan contenido para búsqueda y lo recopilan para entrenamiento de IA o servicios agentivos, de cualquier página que tenga anuncios.
El cambio de política afecta por defecto a los nuevos clientes de Cloudflare, los nuevos sitios creados por clientes existentes y todos los clientes existentes del nivel gratuito. Los propietarios de sitios pueden optar por permitir los rastreadores de uso mixto, pero la carga ha cambiado: permanecer abierto a los rastreadores de IA es ahora una opción, no el valor predeterminado.
Por qué ahora
El cofundador y CEO de Cloudflare, Matthew Prince, enmarcó la medida como una respuesta a un cambio estructural en internet. «Ahora que la mayoría del tráfico en internet no es humano, debemos ir más allá y actuar más rápido para que pueda surgir un ecosistema sostenible», dijo en un comunicado.
Los datos de la empresa muestran que los bots han superado el tráfico humano en línea por primera vez, un hito que no se esperaba hasta 2027. De ese tráfico de bots, más del 50 por ciento de la actividad de los rastreadores de IA consiste en volver a obtener páginas que no han cambiado, desperdiciando ancho de banda y recursos informáticos de los editores.
La ventaja de Google
El anuncio de Cloudflare apunta directamente a la configuración integrada de rastreadores de Google. Google proporciona un bot separado llamado Google Extended que permite a los editores optar por no participar en el entrenamiento de IA y el uso de agentes sin afectar su visibilidad en la búsqueda. Pero Cloudflare argumenta que la configuración predeterminada de Google le da acceso a aproximadamente el doble de datos que a las empresas de IA competidoras, porque los editores no pueden bloquear fácilmente el rastreador principal de Google sin perder también su posicionamiento en la búsqueda.
«Google tiene acceso a 2 veces más información que otras empresas de IA», señaló Prince, pidiendo que los rastreadores de uso mixto separen la búsqueda del uso de agentes y el entrenamiento.
El modelo de pago por uso
La nueva política se basa en los esfuerzos anteriores de Cloudflare para dar a los editores influencia sobre las empresas de IA. En 2024, la empresa lanzó herramientas para bloquear bots de IA no autorizados. En 2025, introdujo un mercado donde los sitios web podían cobrar por el rastreo, llamándolo «Pay Per Crawl». La nueva política evoluciona eso hacia un modelo de «Pay Per Use», donde los editores son compensados no solo cuando se obtiene el contenido, sino cuando este crea valor en un producto de IA.
Los socios iniciales incluyen Ceramic.ai, que paga a los editores cuando su contenido aparece en sus resultados de búsqueda de IA, y You.com, que paga por el acceso a contenido premium.
Lo que significa para las empresas de IA
El plazo del 15 de septiembre da a las empresas de IA aproximadamente dos meses y medio para separar sus rastreadores de indexación de búsqueda de sus rastreadores de entrenamiento y agentes, o perder el acceso a una parte significativa de la web con anuncios. Las empresas que no cumplan verán sus bots bloqueados por defecto en la red de Cloudflare, que sirve aproximadamente el 20 por ciento de la web.
Fuentes: Cloudflare’s new policy pushes AI companies to pay (TechCrunch, 1 de julio de 2026)
Traducido por Alessandra