Cloudflare rend plus difficile pour les entreprises d’IA de scraper le web ouvert gratuitement. À partir du 15 septembre 2026, les paramètres par défaut de l’entreprise bloqueront les robots à « usage mixte », des robots qui indexent le contenu pour la recherche et le collectent pour l’entraînement d’IA ou les services agentiques, sur toute page hébergeant des publicités.
Ce changement de politique affecte par défaut les nouveaux clients de Cloudflare, les nouveaux sites créés par des clients existants et tous les clients existants du niveau gratuit. Les propriétaires de sites peuvent choisir d’autoriser les robots à usage mixte, mais la charge a changé : rester ouvert aux robots d’IA est désormais un choix, et non la valeur par défaut.
Pourquoi maintenant
Le cofondateur et PDG de Cloudflare, Matthew Prince, a présenté cette décision comme une réponse à un changement structurel d’Internet. « Maintenant que la majorité du trafic sur Internet n’est pas humain, nous devons aller plus loin et agir plus vite pour qu’un écosystème durable puisse émerger », a-t-il déclaré.
Les données de l’entreprise montrent que les robots ont dépassé le trafic humain en ligne pour la première fois, un cap qui n’était pas attendu avant 2027. De ce trafic de robots, plus de 50 pour cent de l’activité des robots d’IA consiste à re-consulter des pages qui n’ont pas changé, gaspillant la bande passante et les ressources de calcul des éditeurs.
L’avantage de Google
L’annonce de Cloudflare vise directement la configuration intégrée des robots de Google. Google fournit un robot séparé appelé Google Extended qui permet aux éditeurs de refuser l’entraînement d’IA et l’utilisation agentique sans affecter leur visibilité dans les recherches. Mais Cloudflare soutient que la configuration par défaut de Google lui donne accès à environ deux fois plus de données que les entreprises d’IA concurrentes, car les éditeurs ne peuvent pas facilement bloquer le robot principal de Google sans perdre leur placement dans les résultats de recherche.
« Google a accès à 2 fois plus d’informations que les autres entreprises d’IA », a noté Prince, appelant à séparer la recherche de l’utilisation agentique et de l’entraînement pour les robots à usage mixte.
Le modèle de paiement à l’utilisation
La nouvelle politique s’appuie sur les efforts précédents de Cloudflare pour donner aux éditeurs un levier face aux entreprises d’IA. En 2024, l’entreprise a lancé des outils pour bloquer les robots d’IA non autorisés. En 2025, elle a introduit un marché où les sites web pouvaient facturer le crawling, l’appelant « Pay Per Crawl ». La nouvelle politique fait évoluer cela vers un modèle « Pay Per Use », où les éditeurs sont rémunérés non seulement lorsque le contenu est récupéré, mais aussi lorsqu’il crée de la valeur dans un produit d’IA.
Les partenaires initiaux incluent Ceramic.ai, qui rémunère les éditeurs lorsque leur contenu apparaît dans ses résultats de recherche IA, et You.com, qui paie pour l’accès à du contenu premium.
Ce que cela signifie pour les entreprises d’IA
La date limite du 15 septembre donne aux entreprises d’IA environ deux mois et demi pour séparer leurs robots d’indexation de recherche de leurs robots d’entraînement et agentiques, ou perdre l’accès à une partie importante du web avec publicité. Les entreprises qui ne se conforment pas verront leurs robots bloqués par défaut sur le réseau de Cloudflare, qui dessert environ 20 pour cent du web.
Sources: Cloudflare’s new policy pushes AI companies to pay (TechCrunch, 1er juillet 2026)
Traduit par Lydie