Cloudflareは、AI企業がオープンウェブを無料でスクレイピングすることを困難にしている。2026年9月15日より、同社のデフォルト設定は「兼用」クローラー（検索用にコンテンツをインデックス化すると同時に、AIトレーニングやエージェントサービスのために収集するボット）を、広告をホストするすべてのページでブロックする。
このポリシー変更は、新規Cloudflare顧客、既存顧客が設定した新規サイト、および既存の無料ティア顧客すべてにデフォルトで適用される。サイト所有者は兼用クローラーを許可するオプトインが可能だが、負担は移行した。AIクローラーに対してオープンであり続けることは、今やデフォルトではなく選択肢となった。
なぜ今なのか
Cloudflareの共同創業者兼CEOであるマシュー・プリンス氏は、この動きをインターネットの構造的変化への対応と位置付けた。「現在、インターネット上のトラフィックの大部分は人間によるものではないため、持続可能なエコシステムが生まれるよう、さらに踏み込み、より迅速に行動する必要がある」と声明で述べた。
同社のデータによると、ボットが初めてオンラインの人間のトラフィックを上回り、2027年まで予想されていなかった節目を迎えた。そのボットトラフィックのうち、AIクローラー活動の50パーセント以上が変更されていないページの再取得で構成されており、パブリッシャーの帯域幅とコンピューティングリソースを浪費している。
Googleの優位性
Cloudflareの発表は、Googleの統合クローラー設定を直接狙ったものである。GoogleはGoogle Extendedと呼ばれる別のボットを提供しており、パブリッシャーは検索の可視性に影響を与えることなく、AIトレーニングとエージェント利用をオプトアウトできる。しかしCloudflareは、パブリッシャーが検索順位を失うことなくGoogleのメインクローラーを簡単にブロックできないため、Googleのデフォルト設定により競合するAI企業の約2倍のデータにアクセスできると主張している。
「Googleは他のAI企業よりも2倍多くの情報にアクセスできる」とプリンス氏は指摘し、兼用クローラーが検索とエージェント利用およびトレーニングを分離するよう求めた。
従量課金モデル
この新ポリシーは、パブリッシャーにAI企業に対する交渉力を与えるCloudflareのこれまでの取り組みに基づいている。2024年、同社は不正なAIボットをブロックするツールを立ち上げた。2025年には、ウェブサイトがクローリングに料金を請求できるマーケットプレイスを導入し、「Pay Per Crawl」と呼んだ。新ポリシーはこれを「Pay Per Use」モデルへと進化させ、パブリッシャーはコンテンツが取得されたときだけでなく、AI製品において価値を生み出したときにも報酬を得られる。
初期パートナーには、自社のAI検索結果にコンテンツが表示されたときにパブリッシャーに支払うCeramic.aiと、プレミアムコンテンツへのアクセスに対して支払うYou.comが含まれる。
AI企業への影響
9月15日の期限により、AI企業は検索インデックス化クローラーとトレーニング・エージェントクローラーを分離するのに約2か月半の猶予がある。さもなければ、広告付きウェブのかなりの部分へのアクセスを失うことになる。遵守しない企業は、ウェブの約20パーセントをカバーするCloudflareのネットワーク上で、クローラーがデフォルトでブロックされることになる。
Sources: Cloudflare’s new policy pushes AI companies to pay (TechCrunch, 2026年7月1日)
雅子 訳