Cloudflare、検索に残したままAI学習だけ拒否できる新設定を提供

Cloudflareは、ウェブサイトが検索結果に表示され続けたまま、AI学習への利用だけを拒否できる新設定「Disallow AI Training」の提供を始めた。同時に、AIによるコンテンツ収集で説明責任を果たすクローラー運営者を「Accountable」と認定する区分を新設し、Apple、Google、Microsoftの3社を認定した。3社は基準をすでに満たすか、満たす期限を示したという。基準を満たさない兼用クローラーは、サイト側がAI学習を拒否した時点でブロックされる。

背景にあるのは、検索インデックス用とAI学習用の収集を一つのクローラーで行う「兼用クローラー」の存在だ。Cloudflareのネットワークではクローラー通信の36.6%を占め、最大のカテゴリーになっている。検索クローラーを拒否するサイトは1%未満なのに対し、17%がAI学習を制限しているが、兼用クローラーが相手だと、学習を拒否すれば検索からも消えるという二者択一を迫られていた。

認定の要件は4つある。robots.txtなどでAI学習を明確に拒否できること、AIによる検索要約への掲載を拒否できること、検索と学習それぞれでコンテンツの使われ方をURL単位で開示すること、学習を拒否しても検索順位に影響しないと公に明言することだ。検索用と学習用でクローラーを分けている事業者も、学習用だけを止められるため認定対象とし、一覧はCloudflare Radarで公開する。

設定面では、これまでの「Block AI Bots」という一括スイッチを廃止し、検索、AI学習、AIエージェント（利用者に代わってウェブを操作するAI）を個別に指定できるようにする。新規サイトにはビジネスモデルに応じた推奨設定を示し、たとえば検索は許可、学習は拒否、広告掲載ページではエージェントをブロックするといった組み合わせを提示する。「Managed Robots.txt」は、一度設定した意向を対応クローラー全体に反映する「Bot Preference Sync」に置き換わる。AI要約については、来年初めまでに掲載の度合いを1カ所で管理できるようにすることを目標にし、IETFで策定中の仕様「ai-prefs」とも連動するよう設計したという。