OpenAI、robots.txtの共通AI学習シグナルを尊重すると表明、実装は今後数か月以内を予定

2026年10月30日、OpenAIはrobots.txtに書かれる共通のシグナルを尊重すると発表した。robots.txtは、ウェブサイトが自動アクセスの相手に自らの希望を伝えるファイルである。このシグナルにより、サイト運営者は自サイトのコンテンツを基盤となる生成AIの学習に使うことへの希望を示せる。OpenAIはこれを自発的な取り組みと位置づけ、参加する複数の提供者に同じ希望を一度に伝えやすくなると説明している。

投稿によれば、これまで運営者はクローラーを一つずつ見分け、提供者ごとに別々のルールを管理する必要があった。共通のシグナルがあれば、その手間が減る。OpenAIは今後数か月以内の実装を目指すとし、実装の際に詳細を改めて公表するとしている。つまり今回の投稿は約束であり、すでに稼働している機能ではない。新しいシグナルは、OpenAIがすでにrobots.txtで提供しているクローラー制御に置き換わるものではない。既存の制御は引き続き適用され、尊重される。

投稿はこのシグナルを定義するインターネットドラフトにリンクしており、仕組みはそのドラフトから読み取れる。ドラフトはdraft-kelley-aipref-training-preference-signal-00で、日付は2026年10月30日、K. Kelleyによる個人提出で、所属はAnthropicと記されている。IETFのページには、IETFの承認を受けておらず、標準化手続き上の正式な地位はないと書かれている。ドラフトでは、運営者が通常のrobots.txtのグループを書き、そのUser-Agent行にポリシートークン__usage_ai-trainingを置く。ドラフトの例では、`Disallow: /`と`Allow: /press-kit/`の組み合わせが、/press-kit/以外のすべてのパスではAI学習に反対し、/press-kit/では賛成する希望を表す。新しいディレクティブ名や文法は追加されず、このトークンを知らないパーサーは、未知のユーザーエージェント向けのグループと同じように無視する。User-Agent: *向けのグループがこのトークンに一致すると解釈してはならず、トークンのないファイルは何の希望も表明していないことになる。

同じドラフトは重要な限界も定めている。このトークンはクロールに関する指示ではない。robots.txtのクローラー規則は独立したまま意味も変わらず、シグナルを利用する側はこの希望を取得対象の判断に使ってもよいが、使う義務はない。また、個別の合意はこの方法で示された希望より優先されうる、とも書かれている。「AI学習」の定義は作業部会のものを採用し、生成AIモデルの学習済みパラメーターを変更するためにコンテンツを使うことを指す。非生成タスクだけに使うモデルは含まれない。OpenAIの投稿自体は、トークン名を示しておらず、日付も示さず、加わった他の提供者の名前も挙げず、すでに収集したコンテンツにも触れていない。投稿が述べているのは、IETFのAI Preferences作業部会の他の参加者とともにこの共通シグナルを発表すること、そして作業の進展や状況の変化に合わせて今後も慣行を調整していくことである。

サイト運営者にとって現実的なのは、OpenAIの実装の詳細が出るのを待ってからこのシグナルに頼るかを決めること、そして既存のクローラー規則はそのまま残すことだ。OpenAIが引き続き適用されると述べているからである。読者にとってこのニュースは、共通シグナルへの公式な約束であり、正式な地位のないドラフトを土台にしている。今日すでにコンテンツが守られている証拠ではない。