Eine robots.txt-Zeile für alle KI-Anbieter: Was Googles neues Trainings-Opt-out bedeutet

Google hat Ende Oktober 2026 angekündigt, gemeinsam mit Microsoft Bing künftig ein einziges Signal in der robots.txt zu respektieren, über das Websites das Training von KI-Modellen mit ihren Inhalten ablehnen können. Laut Berichten ziehen auch OpenAI und Anthropic mit. Statt für jeden Anbieter eine eigene Zeile zu pflegen, soll ein gemeinsamer Policy-Token namens __usage_ai-training genügen. Die Grundlage dafür liefert ein Entwurf der IETF-Arbeitsgruppe AIPREF, verfasst von einem Mitarbeiter von Anthropic.

Wie das neue Signal funktionieren soll

Heute braucht jede Sperre für KI-Training ihren eigenen Eintrag in der robots.txt, etwa:

• Google-Extended für das Training der Google-KI-Modelle
• GPTBot für OpenAI
• ClaudeBot für Anthropic

Wer alle drei ausschließen wollte, musste bisher drei getrennte User-Agent-Blöcke pflegen – und bei jedem neuen Anbieter einen weiteren. Der neue Policy-Token soll das bündeln: Eine Website hinterlegt eine einzige Präferenz, und teilnehmende Anbieter lesen sie als verbindliches Signal für das Training, unabhängig davon, mit welchem Crawler sie im Einzelnen arbeiten. Google hat dazu eine konkrete Zuordnung genannt: Setzt eine Website den Token, ohne Google-Extended gesondert zu erwähnen, wertet Google das so, als wäre Google-Extended ebenfalls gesperrt.

Training-Opt-out ist nicht gleich Unsichtbarkeit in der Suche

Wichtig ist die Trennung zweier Dinge, die Betriebe leicht verwechseln: Ein Trainings-Opt-out hat keinen Einfluss auf die normale Google-Suche und das Ranking dort. Es betrifft ausschließlich, ob Inhalte zum Training von KI-Modellen verwendet werden dürfen. Davon zu unterscheiden ist die Frage, ob eine Seite als Quelle in einer KI-Antwort zitiert wird – etwa wenn Gemini in einer App eine Website als Beleg heranzieht. Diese Form der Nutzung hängt bei Google weiterhin speziell an Google-Extended, und genau deshalb kann ein pauschales Trainings-Opt-out ungewollt auch die Chance auf ein Zitat in KI-Antworten kosten, wenn Google-Extended dabei nicht getrennt behandelt wird.

Was bedeutet das für Betriebe in Bayern?

Die meisten kleineren Websites haben ihre robots.txt seit Jahren nicht angefasst und erlauben KI-Crawlern damit standardmäßig den Zugriff, ohne das bewusst entschieden zu haben. Wer auf Sichtbarkeit in KI-Antworten von ChatGPT, Gemini oder Perplexity setzt, hat in der Regel ohnehin kein Interesse daran, diese Crawler auszusperren – eine Sperre, die auch das Zitieren verhindert, würde dem eigenen Ziel entgegenlaufen. Für Betriebe, die ihre Inhalte zwar in KI-Antworten auftauchen sehen wollen, aber nicht pauschal als Trainingsmaterial für fremde Modelle hergeben möchten, schafft die geplante Trennung von Training und Zitierung erstmals eine feinere Stellschraube, sobald sie verfügbar ist.

Was ist jetzt zu tun (und was nicht)?

Google plant, den gemeinsamen Token erst 2027 verbindlich zu berücksichtigen. Eine sofortige Änderung an der eigenen robots.txt ist deshalb nicht nötig, und vorschnelle Einträge mit einer Syntax, die noch nicht final abgestimmt ist, bringen nichts. Sinnvoll ist stattdessen, die bestehende robots.txt einmal durchzugehen und bewusst zu entscheiden, welche KI-Crawler heute schon zugelassen oder gesperrt sind – viele Dateien enthalten dazu noch gar keine Regel. Wer die Grenzen von robots.txt bei KI-Crawlern schon kennt, weiß auch: Eine Sperre wirkt nur auf künftigen Zugriff, nicht auf bereits gesammelte Daten. Wichtig ist vor allem, nicht aus Vorsicht pauschal alle KI-Bots zu blockieren, wenn das eigentliche Ziel Sichtbarkeit in der KI-Suche ist.

Quellen

Google Search Central Blog: Supporting a shared AI training control for websites
Search Engine Land: Google also gives publishers more control over how AI uses their content

Kurz beantwortet

Muss ich meine robots.txt jetzt schon anpassen?

Nein. Google plant, den gemeinsamen Token erst ab 2027 zu berücksichtigen, eine verbindliche Syntax für Website-Betreiber steht noch nicht fest. Bis dahin gelten die bisherigen, anbieterspezifischen Regeln wie Google-Extended oder GPTBot unverändert weiter.

Was ist der Unterschied zwischen KI-Training und dem Zitieren in KI-Antworten?

Training bedeutet, dass ein Modell mit den Inhalten einer Seite allgemein lernt. Das Zitieren in einer KI-Antwort ist ein separater Vorgang, bei dem ein System im Moment der Anfrage auf eine Seite zugreift, um daraus eine konkrete Antwort mit Quellenangabe zu erstellen.

Verschlechtert ein Trainings-Opt-out mein Ranking in der Google-Suche?

Nein. Google hat ausdrücklich erklärt, dass die Entscheidung gegen die Nutzung für KI-Training getrennt von der regulären Google-Suche behandelt wird und sich nicht auf die Aufnahme oder das Ranking einer Seite in den klassischen Suchergebnissen auswirkt.