「AIはどれだけ巡回し、どれだけ人を連れてくるのか」　Cloudflareが可視化：数字で見るAIクローラーの影響

Cloudflareは、AIモデルによるWebサイトのクロールに関する影響を分析した結果を発表した。AIクローラーは、膨大な量のWebページをクロールしているが、従来とは異なり、Webサイトへのトラフィック還元が極めて少ないという特徴があるという。

» 2025年07月08日 08時00分公開

[＠IT]

この記事は会員限定です。会員登録（無料）すると全てご覧いただけます。

　Cloudflareは2025年7月1日、AI（人工知能）モデルによるWebサイトクロールの影響を分析した結果と、その影響を測定するための指標を同社のインターネットトラフィック測定サービス「Cloudflare Radar」に追加したと発表した。この指標は、AIモデルがWebサイトをクロールする頻度と、そのサイトにトラフィックを送信する頻度の比率を表すものだ。

リリース

　なお、本稿では「WebサイトをクロールするAIモデル」を「AIクローラー」と表現する。

AIクローラーはWebサイト運営者にとって「うまみ」がない？

　近年、AIクローラーによるWebサイトのクロールが増加傾向にある。

　従来の検索エンジンのクローラーは、Webサイトをクロールし、検索結果を通じてユーザーをWebサイトに誘導することで、Webサイト運営者にトラフィックと収益機会をもたらしていた。

　しかしCloudflareによると、AIクローラーは、クロールした情報をAIツールの中で提供するため、ユーザーが元サイトを訪れる必要がなくなる。Webサイト運営側から見ると、自社コンテンツの情報を大量にクロールされているのに、検索からの流入（リファラル）が極端に少ないという状態になっている。

　Cloudflareが新しい指標を導入したのは、こうしたAIクローラーの影響を定量化するためだ。

AIクローラーはどのくらいの影響がある？

　Cloudflare Radarの「AIのインサイト」ページでは、AIクローラーや検索エンジンごとに、クロール数とリファー数（Webサイトに実際に送信されるトラフィック）の比率を表している。データ例は以下の通り。

2025年6月のクロール数とリファー数の比率（提供：Cloudflare）

　例えば2025年6月のデータを見ると、GoogleのAIクローラーは「9.4対1」となっており、これは約10回のクロールごとに1件のトラフィックがあることを示している。OpenAIのAIクローラーは「1600対1」、AnthropicのAIクローラーは「70900対1」という割合になっている。

　単純計算では、GoogleのAIクローラーはクロールしたページの約10％にトラフィックを送信しているのに対し、OpenAIのAIクローラーはクロールしたページの約0.06％にしかトラフィックを返していない。AnthropicのAIクローラーはさらに低く、クロールしたページの約0.0014％にしかトラフィックを送信していないことになる。

　この指標（比率）は時間やクローラーごとに変動する。例えばある期間では、参照トラフィックはGoogleのAIクローラーによるものが圧倒的で、1日のうちでも比率が変化していたという。ただし、全体的に「クロールが多く、参照が少ない」という傾向はあった。

2025年6月1〜25日の参照トラフィック（提供：Cloudflare）

　Cloudflareは、AIクローラーは従来の検索エンジンよりも多くのコンテンツを取得する一方で、サイトへのトラフィック還元が少ないため、これまでのような収益モデルを維持するのが難しくなっていると指摘している。

Datadogが「AIエージェントの意志決定プロセス」を可視化するツールを発表
DataDogは、「LLM Observability」の新機能を発表した。AIエージェントの動作全体を可視化するとともに、AIエージェントの管理を一元化するためのガバナンス体制の構築も支援するという。
「実は知らない」とは言いづらい「AIエージェント」の基礎を把握する
IT用語の基礎の基礎を、初学者や非エンジニアにも分かりやすく解説する本連載、第30回は「AIエージェント」です。ITエンジニアの学習、エンジニアと協業する業務部門の仲間や経営層への解説にご活用ください。
「企業の主体はヒトからAIエージェントに」PwCが生成AIの技術動向を分析
PwCコンサルティングは、「生成AIの将来技術動向」と題したレポートを発表した。現在のLLMが抱える技術的な課題とその克服に向けた進化の方向性などについて分析している。