OpenAIやGoogle、AI学習拒否をrobots.txtで一括指定へ

ITmedia NEWSによると、AI学習への利用拒否をrobots.txtで一括して指定できるようにする取り組みがあり、OpenAIやGoogleなどが対応を表明した。

確認できたのは見出しの範囲で、具体的な記述方法、開始時期、「など」に含まれる企業の顔ぶれは分からない。指定に従わなかった場合の扱いも今回の材料には含まれていない。

技術面では、robots.txtはサイトのルートに置き、クローラーに巡回の可否を伝えるテキストファイルである。「一括指定」という表現からは、事業者ごとのクローラーを個別に並べなくても、学習利用の拒否をまとめて示せる形になるとみられる。

意味合いとしては、コンテンツの持ち主が使える意思表示の手段が整う一方、robots.txtは従来、クローラー側の順守に頼る仕組みでもある。実効性は、対応を表明した企業の実装と、それ以外の事業者の動きで決まることになる。