【2026年版】AEO×「コンテンツの値付け」戦略ガイド——Cloudflare Pay Per Crawl本格展開・RSL標準・9/15の広告ページ既定ブロックで「AIに無償で読ませる時代」が終わる｜クローラー別に無償公開・課金・遮断を使い分け、引用獲得と対価回収を両立させるライセンシング・ポートフォリオ設計

はじめに——「読ませるか・課金するか・遮断するか」が経営判断になった
前提——2026年に何が変わったのか（3つの出来事）
意思決定の軸——「引用価値」と「ライセンス収益」のトレードオフ
1. 軸1：そのクローラーは、自社に何を返すか
2. 軸2：そのコンテンツは、引用向きか・課金向きか
実践——コンテンツ種別×クローラー別「値付けマトリクス」
実装——意思表明・通行管理・対価回収の3レイヤー
9/15までにやることチェックリスト
ポートフォリオ設計——「AI検索広告」回との対で考える
よくある質問（Q&A）
まとめ——「無償で読ませる」が既定値だった時代の終わり
参考リンク

はじめに——「読ませるか・課金するか・遮断するか」が経営判断になった

これまでのAEO関連記事では、クローラーログ解析による「AIに読まれているかの計測」、llms.txtによる「AIに読ませる技術」を扱ってきました。しかし2026年夏、その前提となる問いが一段深くなりました。「そもそも、どのAIクローラーに、どの条件で読ませるのか」——つまりコンテンツの”値付け”そのものが、すべてのサイト運営者に突きつけられたのです。

転機は2026年7月1日、Cloudflareが2回目の「Content Independence Day」で発表した一連の施策です。2026年9月15日から、広告を表示しているページに対するTraining（学習）・Agent（エージェント）クローラーを既定でブロックし、SearchとTrainingを兼ねるミックスユース（多目的）クローラーも「すべての用途」に基づいて判定するよう変更されます。同時に、Pay Per Crawl（クロール課金）は「回答への貢献に応じて支払う」Pay Per Useへと進化を始めました。さらに、Reddit・Yahoo・Medium等が推すRSL（Really Simple Licensing）標準は、robots.txtにライセンス条件を機械可読で記述する仕組みとして1500以上の組織に支持を広げています。

「AIに無償で読ませる時代」は、制度としても技術としても終わりつつあります。しかし、だからといって全ブロックが正解ではありません。AIの回答に引用されること自体がAEO資産（指名検索・信頼・将来の流入）を生む以上、遮断は引用機会の放棄でもあるからです。本記事は、引用価値とライセンス収益のトレードオフを、コンテンツ種別×クローラー分類のマトリクスで設計する——「無償公開・課金・遮断」を使い分けるライセンシング・ポートフォリオの作り方を整理します。

想定読者は、自社サイト・メディアを運営する企業のWeb担当者・編集責任者、広告収益とAI経由流入の両方を持つサイトオーナー、そしてAEOに取り組むマーケターの方々です。

前提——2026年に何が変わったのか（3つの出来事）

出来事1：Cloudflareの新分類と「9/15の既定ブロック」

Cloudflareは2026年7月1日、AIボットを「AIかどうか」ではなくサイト上で何をするかで分類する新しいタクソノミーを全顧客（無料プラン含む）に開放しました。管理対象となる3分類は次のとおりです。

分類	振る舞い	サイト側に返るもの
Search	コンテンツを収集・インデックスし、後で質問に答えるためのデータベースを作る	参照流入・引用（返るべきとCloudflareが位置づけ）
Agent	人間の代わりにリアルタイムでページを訪れ、タスクを実行する（ChatGPT-User、ブラウザ操作エージェント等）	タスク完了。広告閲覧・回遊は返らない
Training	モデルの学習・ファインチューニングのためにコンテンツを収集する	原則何も返らない（データはモデルに永久吸収）

そして2026年9月15日、この分類に基づく新しい既定値が適用されます。ポイントは3つです。

広告掲載ページではTrainingとAgentを既定ブロック：新規ドメイン、既存顧客の新規サイト、そしてすべての無料プラン顧客が対象。Searchは既定で許可のまま。「広告があるページ＝人間の注意（アテンション）が収益源のページ」には、それを迂回するボットを通さない、という思想です。
ミックスユース・クローラーは「全用途」で判定：SearchとTrainingを兼ねるクローラー（Googlebot・Applebot・BingBot等が該当）は、最も厳しい適用ルールに従ってブロックされます。「検索のふりをして学習も行う」一体型クローラーの優位性に対する、事実上の分離要求です。
選択権はサイト側にある：既定値を望まない場合は、9/15までにセキュリティ設定でオプトアウトを明示できます。

あわせて、robots.txtのContent Signalsに「クロール後の利用範囲」を表明するuse=シグナル（immediate＝保存せず即時利用のみ／reference＝索引・抜粋・リンクバックまで／full＝要約・再現まで許可）が追加され、シグナルを無視したボットはVerified（認証済み）ステータスを剥奪される仕組みも動き始めました。

出来事2：Pay Per CrawlからPay Per Useへ——「クロール回数」から「貢献」への課金

2025年に始まったPay Per Crawlは「クロール1回ごとに課金する」市場でしたが、クロール回数は価値の粗い代理指標でしかありません。1回クロールされたページが数千回の回答に引用されることもあれば、何度もクロールされて一度も使われないこともあるからです。

そこでCloudflareは2026年7月、Pay Per Useへの進化を発表しました。Ceramic.aiとの「pay-per-query」実験では、オプトインしたパブリッシャーは自社コンテンツが検索結果（回答）に登場するたびに補償を受けます。You.comとの実験では、エージェントが必要とするプレミアムコンテンツ単位でのオンデマンド課金が試されています。さらに、参加者にはAEO向けレポーティング——自社コンテンツが引用に至った質問（クエリ）、使われたページとスニペット、平均掲載順位など——が提供される点は、AEO実務者にとって見逃せません。「対価」と「計測データ」が同じ蛇口から出てくるのです。

また、x402プロトコル（ステーブルコイン決済）でWebページ・データセット・API・MCPツールに課金できるMonetization Gatewayのウェイトリストも開始され、クローラーの行動と潜在価値を可視化するAttribution Business Insightsダッシュボードも登場しました。課金・計測・交渉材料が、インフラ側に揃いつつあります。

出来事3：RSL標準——robots.txtの「ライセンス条件」レイヤー

Cloudflareの仕組みが「Cloudflare配下のサイト」で効く一方、RSL（Really Simple Licensing）はインフラを問わないオープン標準です。2025年9月に、RSS共同開発者のEckart Walther氏らが設立した非営利のRSL Collectiveが公開し、Reddit・Yahoo・People Inc.・Ziff Davis・Internet Brands・Fastly・Quora・O’Reilly Media・Mediumなどが立ち上げを支持。その後BuzzFeed・Vox Media・USA Today Co等も加わり、現在では1500以上のメディア・企業が支持を表明しています。

RSLは、robots.txtを拡張して機械可読なライセンス条件を記述します。表明できる条件には、帰属表示（attribution）の義務付け、クロール単位の課金（pay per crawl）、推論単位の課金（pay per inference）、そして「検索エンジンには許可するがAI検索アプリケーションからはオプトアウトする」といった用途の切り分けが含まれます。1.0仕様は業界標準として正式化されており、集団でのライセンス交渉・徴収を担うRSL Collectiveと組み合わせることで、個々のサイトでは持ち得なかった交渉力を束ねる構想です。

3つの出来事を並べると、役割分担が見えてきます。

仕組み	役割	強制力
Cloudflare新既定値（9/15）	クローラー分類別の通行管理（許可・課金・遮断）	ネットワーク層で実際にブロック可能
Pay Per Crawl / Pay Per Use	対価回収と引用レポーティング	Cloudflare経由の市場メカニズム
RSL / Content Signals	ライセンス条件・利用範囲の意思表明	表明ベース（ただし違反ボットはVerified剥奪等の実効化が進行）

意思決定の軸——「引用価値」と「ライセンス収益」のトレードオフ

ここからが本記事の核心です。ブロックも課金も「できるようになった」今、問題は何を基準に使い分けるかです。軸は2本あります。

軸1：そのクローラーは、自社に何を返すか

クローラー3分類は、そのまま「返ってくる価値」の違いです。Searchクローラーに読ませることは、AI回答面での引用＝AEO資産の獲得機会であり、遮断すれば「AIの回答世界に存在しない」状態になります。一方Trainingクローラーに無償で読ませても、返ってくるものは原則ありません。Agentはその中間で、タスク単位の価値（予約・購買の成立等）は返る一方、広告収益は返りません。

ただし、Searchでも「読ませれば得」とは限らなくなっています。2025年のPew Research Centerの調査では、GoogleにAI要約が表示された場合、従来の検索結果リンクがクリックされたのは8%（要約なしの約半分）、要約内のリンクに至っては1%でした。つまりSearchクローラーへの無償開放は「引用というブランド価値は得られるが、クリックはほぼ返らない」投資として評価する必要があります。

軸2：そのコンテンツは、引用向きか・課金向きか

コンテンツ側にも性質の違いがあります。誰でも書ける一般解説はAIに読ませても失うものが少なく、引用獲得の入口として機能します。逆に、独自調査データ・一次情報・有料会員向けコンテンツは、AIが要約してしまえば読者が対価を払う理由が消える——読ませること自体が商品価値の毀損になり得ます。この2軸を掛け合わせたものが、次章のマトリクスです。

実践——コンテンツ種別×クローラー別「値付けマトリクス」

自社コンテンツを4種別に棚卸しし、クローラー3分類ごとに「無償公開（Free）・課金（Pay）・遮断（Block）」を割り当てます。以下は広告収益＋一部有料コンテンツを持つ標準的なメディア・企業サイトを想定した推奨初期配置です。

コンテンツ種別	Search	Agent	Training	考え方
①入口コンテンツ（一般解説・FAQ・用語集）	無償公開	無償公開	無償公開〜課金	引用獲得が最優先のAEO資産。露出最大化で指名・信頼を稼ぐ
②中核コンテンツ（独自ノウハウ・事例・広告収益ページ）	無償公開（use=reference＝抜粋とリンクバックまで）	課金〜遮断（9/15以降は広告ページで既定ブロック）	課金（Pay Per Crawl/RSL）	引用は取りたいが全文要約は防ぐ。学習利用は対価と引き換え
③資産コンテンツ（独自調査・一次データ・統計）	課金（Pay Per Use型で引用ごとに回収）	課金	課金（pay per inference含む高単価設定）	AIが最も欲しがる「他にない情報」。無償で渡す理由がない
④商品コンテンツ（有料会員記事・販売物）	遮断（見出し・要旨のみ公開）	遮断	遮断	要約された時点で商品価値が毀損。個別ライセンス契約のみ

重要なのは、このマトリクスが固定ではないことです。②で引用が積み上がりブランドが確立したら③の課金を強気にする、③の引用データ（Pay Per Useレポート）を見て需要の高いテーマの①を増産する——というように、クローラーログ解析回で整えた計測を使って四半期ごとに見直します。

実装——意思表明・通行管理・対価回収の3レイヤー

レイヤー1：意思表明（robots.txt／Content Signals／RSL）

まず、すべてのクローラーに対する自社の条件を機械可読で宣言します。Content Signalsで「search=yes, ai-train=no, use=reference」のような基本方針を示し、RSLで帰属義務・課金条件（pay per crawl／pay per inference）をコンテンツ領域ごとに記述します。表明だけでは強制力が弱いものの、(1) 誠実なクローラーの行動を実際に変える、(2) 違反時の法的・契約的主張の根拠になる、(3) Verified剥奪のような実効化の仕組みが育ちつつある——という3点で「やらない理由がない」施策です。

レイヤー2：通行管理（Cloudflare等のネットワーク層）

Cloudflare利用サイトなら、Search／Agent／Trainingの3分類を管理画面から個別に許可・ブロックできます（無料プラン含む）。9/15の既定値変更を「自動でそうなる」と放置せず、マトリクスに基づいて能動的に設定してください。特に注意すべきはミックスユース判定です。Trainingをブロックする設定にすると、Search兼Trainingの大手クローラーも遮断され得るため、「学習は拒否したいが検索露出は失えない」サイトは、この一括判定を受け入れるか、オプトアウトして現状維持にするかの判断が必要です。ここが今回の変更で最も経営判断らしい分岐点です。

レイヤー3：対価回収（Pay Per Crawl／Pay Per Use／RSL Collective）

③資産コンテンツを持つサイトは、Pay Per Crawlマーケットプレイスへの参加、Pay Per Use型実験（Ceramic.ai・You.com等）のオプトイン、RSL Collective経由の集団ライセンシングを検討します。収益額そのものより、まず「自社コンテンツにAI企業がいくら払うか」の市場データと、引用クエリのレポーティングが手に入ることに価値があります。値付けの根拠は、参加してみないと集まりません。

9/15までにやることチェックリスト

期限	アクション	対応レイヤー
今すぐ	コンテンツ棚卸し：①〜④の種別に分類し、広告掲載ページを特定する	設計
今すぐ	クローラーログでSearch/Agent/Training別のアクセス実態を把握する	計測
今すぐ	robots.txtにContent Signals（use=を含む）を記述する	意思表明
8月中	RSLでライセンス条件（帰属・課金）をコンテンツ領域別に定義する	意思表明
8月中	Cloudflareの新AI管理画面でSearch/Agent/Trainingの許可・ブロックをマトリクス通りに設定する	通行管理
9/15まで	既定値変更の影響（特にミックスユース・クローラーの遮断可否）を判断し、必要ならオプトアウトを明示する	通行管理
9月以降	Pay Per Crawl/Pay Per Use・RSL Collectiveへの参加を検討し、引用レポートと収益データで値付けを見直す	対価回収

ポートフォリオ設計——「AI検索広告」回との対で考える

前回のAI検索広告回では、AI回答面への露出を「オーガニック引用（無償）」と「有料枠（広告）」のポートフォリオとして設計しました。本記事のライセンシング戦略は、その収入側の鏡像です。支出側では「引用を買うか・稼ぐか」を配分し、収入側では「読ませて稼ぐか・課金して稼ぐか・守って稼ぐか」を配分する。両者を貫く共通の通貨は「自社コンテンツがAIの回答にどれだけ貢献しているか」であり、その計測基盤がクローラーログ解析とPay Per Use型レポーティングです。

2026年後半のAEOは、「引用されるための最適化」だけでは半分です。引用の対価を設計できて初めて、コンテンツ制作への再投資が回る——これが「コンテンツの値付け」を経営判断と呼ぶ理由です。

よくある質問（Q&A）

Q1. 9月15日に何もしないと、うちのサイトはどうなりますか？

Cloudflareの新規ドメイン・既存顧客の新規サイト・無料プラン顧客に該当する場合、広告掲載ページでTrainingとAgentのクローラーが既定でブロックされ、SearchとTrainingを兼ねるミックスユース・クローラーもブロック対象になり得ます。Cloudflareを使っていないサイトには直接の変更はありませんが、市場全体の前提（無償クロールが既定ではない世界）は同じように変わります。いずれの場合も「既定値に流される」のではなく、本文のマトリクスに基づいて能動的に設定することを推奨します。

Q2. Trainingクローラーをブロックすると、AIの回答に引用されなくなりませんか？

引用（AI検索の回答での言及）を主に担うのはSearch系のクロールであり、Trainingのブロックが直ちに引用消失を意味するわけではありません。ただし、GooglebotのようにSearchとTrainingを兼ねるクローラーは一括判定でブロックされ得るため、そこだけは検索露出への影響と学習拒否の意思を天秤にかける判断が必要です。「Trainingは課金（RSL/Pay Per Crawl）、Searchは許可」という中間解も設計できます。

Q3. 小規模サイトでも課金の交渉なんてできるのでしょうか？

個別交渉は現実的ではありませんが、だからこそRSL Collectiveのような集団ライセンシング機関や、CloudflareのPay Per Crawl/Pay Per Useのようなマーケットプレイス型の仕組みが登場しました。robots.txtに条件を書き、オプトインするだけで参加できる設計です。収益がすぐ立たなくても、引用レポーティングというAEOデータが得られる点だけでも参加価値があります。

Q4. 全部ブロックして守りに徹するのはダメですか？

④商品コンテンツについては合理的ですが、全面ブロックは「AIの回答世界に存在しない」ことを意味します。AI検索経由の情報接触が拡大し続ける中、これは新規認知の入口を閉じる選択です。少なくとも①入口コンテンツは無償開放して引用を取り、②③で対価を設計する——濃淡をつけるのが本記事の提案です。

Q5. RSLやContent Signalsは、無視するクローラーには無意味では？

表明を無視するクローラーが存在するのは事実です。だからこそ本記事は、表明（レイヤー1）・ネットワーク層の強制（レイヤー2）・市場での対価回収（レイヤー3)の3層構成にしています。表明は誠実なクローラーを動かし、違反の証拠を残し、ブロックは不誠実なクローラーを物理的に止める。Cloudflareがシグナルに違反したボットからVerifiedステータスを剥奪する運用を始めたように、表明と強制は接続されつつあります。

まとめ——「無償で読ませる」が既定値だった時代の終わり

要点は3つです。

1. 既定値が反転した。2026年9月15日を境に、少なくともCloudflare配下の広告掲載ページでは「AIクローラーは既定で通れる」から「既定で通れない（Searchを除く）」へ変わります。何もしないことも意思決定になった以上、値付けから逃げられません。

2. 課金の単位が「クロール」から「貢献」へ動き始めた。Pay Per Use・pay per inferenceの登場で、「引用されるほど払われる」構造が実験段階に入りました。これはAEOの成果指標（引用獲得）と収益が同じ計測に乗ることを意味します。

3. 正解は一律ではなく、ポートフォリオである。入口は無償で開いて引用を取り、中核は条件付きで読ませ、資産は課金し、商品は守る。コンテンツ種別×クローラー分類のマトリクスを持ち、計測データで四半期ごとに配分を見直す——それが「AIに無償で読ませる時代」の次に来る、コンテンツの値付け戦略です。

参考リンク

免責事項：本記事は2026年7月時点の公開情報に基づく一般的な情報提供であり、特定のサービス・設定における効果や収益を保証するものではありません。また、法的助言ではありません。Cloudflareの仕様・既定値、RSL標準、各種課金プログラムの内容は変更される可能性があるため、実施にあたっては必ず各公式ソースで最新情報をご確認のうえ、自社の契約・関連法令に照らして検討してください。