Cloudflareが先週リリースした新しいAIトラフィック管理オプションを読んで、自分が個人開発で運営しているいくつかのサービスの設定を全部見直した。
Xのタイムラインで流れてきてとりあえず公式ブログ (blog.cloudflare.com) を開いたんだが、思ったより細かい話だったのでメモがてら整理しておく。
Search / Agent / Training の3分類という整理がえぐい
今回の肝は、AIボットを「何をしているか」で分類するという発想の転換だ。従来の 'Block AI Bots' は学習向けボットをまとめて蹴るプリセットで、検索インデックス用クローラーまで巻き込むリスクがあった。それが今回、3つのカテゴリに整理された。
- Search: 検索結果や回答生成のためのインデックス巡回。参照トラフィックが戻る前提
- Agent: GeminiやClaudeがブラウザを操作してリアルタイムに動くやつ
- Training: モデルの学習・fine-tuning向けのコンテンツ収集
これが無料プランでも設定できるというのがポイントで、個人開発者にもモロに関係してくる。自分はここ半年でブログ系のサービスを2個立ち上げてCloudflareのfreeプランに乗せているんだが、正直 'Block AI Bots' を雑にONにしていた。SEOが死ぬのを恐れて結局OFFに戻したりもしていて、その中間の設定がなかったのが地味にハマりポイントだった。
2026年9月15日のデフォルト変更が地味に大事
Cloudflareのアナウンスで見落としやすいのが、9月15日以降の新規ドメイン向けのデフォルト変更だ。広告が表示されるページでは、Training と Agent がデフォルトブロック、Search はデフォルト許可になる。
自分が今つくってる個人開発プロジェクト、AdSenseを貼ろうとしていたものがちょうどあって、新しくドメインを取るタイミングと被りそうだ。何もしなくてもTrainingがブロックされる設定で始まるのはありがたい。ただ、Agent系をどう扱うかは悩む。
ClaudeやGeminiのブラウザ操作エージェントを「代理操作」として分類するわけだが、サービスの内容によってはエージェントにアクセスしてほしいケースもある。そこを一括ブロックしていいかは判断が要る。
既存プロジェクトの設定を見直した
今の自分の管理下にあるドメインは5個で、用途はバラバラだ。個人ブログ、OSS紹介ページ、APIのドキュメント、小さいWebサービスが2個。この中でTrainingをブロックしたいのは全部だが、Agentのアクセスを拒否したいかどうかはサービスによって違う。
OSSのドキュメントページは、LLMがアクセスしてコードの説明を引っ張るのはむしろ歓迎したい。だがAdSense貼りのブログは人間に見てほしいので、Agentは邪魔だ。これを個別に設定できるようになったのは純粋にいい。
Cloudflareのダッシュボードを今日開いて確認したところ、既存ドメインには新しい設定がすでに出ていた。UIはとくに迷わず、Botの管理メニューから3分類それぞれをtoggleで切り替えるだけ。既存のBlock AI Botsと共存はするが、Cloudflareの説明を読むと「複数用途のクローラーには最も制限の強いルールが適用される」とある。つまり、GooglebotがSearchとTrainingの両方の分類に入っている場合、Trainingをブロックしていると9月15日以降にGooglebotもブロック対象になる可能性があるらしい。ここはちゃんと気をつけたい。
robots.txtにContent Signalsを書ける実験的な仕組みも始まっているようで、`use=reference` のような指定を追加するテストをCloudflareが進めているとのこと。自分のブログのrobots.txtをCloudflare管理に切り替えるかどうかはまだ保留だが、仕様が固まったら使ってみたい。
個人開発でサイトを運営している人は、Cloudflareのダッシュボードを一度開いて現状の設定を確認しておくだけで十分だ。何もしないうちに9月15日が来て想定外の挙動が起きる前に、今のうちに各ドメインの方針を決めておくのが早い。