OpenAI will ein gemeinsames robots.txt-Signal zu KI-Training respektieren, Umsetzung in den kommenden Monaten geplant

Am 30. Oktober 2026 hat OpenAI angekündigt, ein gemeinsames Signal in der Datei robots.txt zu respektieren, mit der eine Website automatisierten Besuchern ihre Wünsche mitteilt. Das Signal erlaubt Websitebetreibern, ihre Präferenz zur Nutzung ihrer Inhalte für das Training grundlegender generativer KI-Modelle auszudrücken. OpenAI nennt das Vorhaben freiwillig und sagt, es erleichtere, dieselbe Präferenz mehreren teilnehmenden Anbietern auf einmal mitzuteilen.

Bisher musste ein Betreiber laut dem Beitrag jeden Crawler einzeln erkennen und für jeden Anbieter eigene Regeln pflegen. Ein gemeinsames Signal verringert diesen Aufwand. OpenAI will das Signal in den kommenden Monaten umsetzen und dann ein weiteres Update mit Einzelheiten veröffentlichen. Der heutige Beitrag ist also eine Zusage und keine bereits laufende Funktion. Das neue Signal ersetzt die Steuerungen nicht, die OpenAI schon über robots.txt anbietet. Die bestehenden Crawler-Steuerungen gelten weiter und werden beachtet.

Der Beitrag verlinkt einen Internet-Draft, der das Signal definiert, und dieser Entwurf erklärt die Funktionsweise. Er trägt die Kennung draft-kelley-aipref-training-preference-signal-00, ist auf den 30. Oktober 2026 datiert und eine Einzeleinreichung von K. Kelley, dessen Zugehörigkeit mit Anthropic angegeben ist. Die IETF-Seite hält fest, dass der Entwurf nicht von der IETF unterstützt wird und im Standardisierungsprozess keinen formalen Status hat. Nach dem Entwurf schreibt ein Betreiber eine gewöhnliche robots.txt-Gruppe, deren User-Agent-Zeile ein Policy-Token trägt, nämlich __usage_ai-training. Im Beispiel des Entwurfs drückt `Disallow: /` zusammen mit `Allow: /press-kit/` eine Präferenz gegen KI-Training für alle Pfade außer /press-kit/ aus, wo es eine zustimmende Präferenz ausdrückt. Der Entwurf führt weder neue Direktiven noch neue Grammatik ein, und ein Parser, der das Token nicht kennt, ignoriert die Gruppe wie jede Gruppe für einen unbekannten User-Agent. Eine Gruppe für User-Agent: * darf nicht als Treffer für das Token gelten, und eine Datei ohne das Token drückt gar keine Präferenz aus.

Derselbe Entwurf setzt wichtige Grenzen. Das Token ist keine Anweisung zum Crawlen: Die Crawler-Regeln in robots.txt bleiben unabhängig und behalten ihre Bedeutung, und ein Nutzer des Signals darf die Präferenz verwenden, um zu entscheiden, was er abruft, muss es aber nicht. Außerdem können private Vereinbarungen eine so ausgedrückte Präferenz überstimmen. Der Entwurf übernimmt die Definition von KI-Training der Arbeitsgruppe: Inhalte werden genutzt, um die gelernten Parameter eines generativen KI-Modells zu verändern; Modelle, die nur für nicht generative Aufgaben dienen, fallen nicht darunter. Der OpenAI-Beitrag selbst nennt das Token nicht, gibt kein Datum an, nennt die anderen Anbieter nicht und äußert sich nicht zu bereits gesammelten Inhalten. Er sagt, dass sich OpenAI mit anderen Teilnehmern der IETF-Arbeitsgruppe AI Preferences an der Ankündigung beteiligt und die eigene Praxis weiter anpassen wird, wenn sich diese Arbeit und das Umfeld entwickeln.

Für Websitebetreiber ist der praktische Schritt, auf die Umsetzungsdetails von OpenAI zu warten, bevor sie sich auf das Signal verlassen, und ihre bestehenden Crawler-Regeln zu behalten, weil OpenAI sagt, dass sie weiter gelten. Für Leser ist die Nachricht eine angekündigte Verpflichtung zu einem gemeinsamen Signal, gestützt auf einen Entwurf ohne formalen Status, und kein Beleg dafür, dass heute schon irgendein Inhalt geschützt ist.