Google stellt klar: Robots.txt stoppt KI-Crawler nur beim Zugriff – nicht bei der Nutzung gesammelter Daten

Ein Disallow in der robots.txt fühlt sich an wie ein Schutzschalter gegen KI-Training – ist aber keiner. Das hat Google am 21. Oktober 2026 in einem Video der Reihe „The Non-Canonical Cabinet“ klargestellt: Gary Illyes und Cherry Prommawin aus Googles Search-Relations-Team erklären darin, was die Datei tatsächlich regelt und wo Website-Betreiber sich zu viel erhoffen.

Was Google in dem Video klarstellt

Illyes bringt die Grenze auf einen anschaulichen Punkt: Ein Disallow bedeutet „Betritt diesen Raum nicht“ – es sagt nichts darüber aus, was mit Inhalten passiert, die ein Crawler bereits gesehen hat. Die robots.txt regelt laut dem Internetstandard RFC 9309 ausschließlich, welche URLs ein Bot abrufen darf. Was ein Unternehmen mit bereits abgerufenen Daten anstellt – etwa sie in ein Sprachmodell einzutrainieren –, liegt außerhalb dessen, was die Datei beeinflussen kann. Zweite Bestätigung kommt am selben Tag von Search Engine Journal, das die Aussage unter dem Titel „Google Explains The Limit Of Robots.txt For AI Content Use“ einordnet.

Zugriff sperren heißt nicht, Training zu verhindern

Für Unternehmer, die sich fragen, ob sie KI-Crawler wie GPTBot, OAI-SearchBot, PerplexityBot oder ClaudeBot zulassen sollen, ändert das die Ausgangslage: Eine Sperre in der robots.txt verhindert künftige Besuche dieses Bots, löscht aber nichts aus Datensätzen, die vor der Sperre entstanden sind. Wer heute GPTBot aussperrt, nachdem die Website schon monatelang zugänglich war, kann damit nicht erzwingen, dass bereits gesammelte Inhalte aus einem Training wieder verschwinden. Die Entscheidung für oder gegen einen KI-Crawler ist deshalb vor allem eine Frage der Sichtbarkeit in KI-Antworten ab sofort, nicht eine nachträgliche Löschfunktion.

Umlaute und Sonderzeichen machen Regeln unbrauchbar

Ein zweiter Punkt aus dem Video betrifft deutsche Websites direkt: Enthält ein zu sperrender Pfad Umlaute, etwa „/angebote/groesse-xl“ mit einem rohen „ß“ oder „ü“ statt der Ersatzschreibweise, empfiehlt Prommawin, solche Zeichen in der robots.txt als Prozent-Encoding (die UTF-8-Bytefolge des Zeichens in Hexadezimalschreibweise) zu notieren statt im Klartext. Rohe UTF-8-Zeichen interpretiert Google zwar korrekt, ältere oder einfachere Crawler-Implementierungen können daran jedoch scheitern und die gesamte Zeile stillschweigend ignorieren. Die gesperrte Seite bliebe dann für diesen Bot trotzdem erreichbar, ohne dass eine Fehlermeldung darauf hinweist. Dieselbe Regel gilt für Emojis in Pfaden. Bei den Bot-Kennungen selbst, den sogenannten User-Agent-Tokens, sind Sonderzeichen ohnehin ausgeschlossen: Erlaubt sind nur Buchstaben und Bindestriche.

Was jetzt zu tun ist – und was nicht

Eine pauschale Sperre der gesamten Website für alle KI-Crawler ist selten die richtige Antwort, weil sie auch die Sichtbarkeit in KI-Suchantworten kostet. Sinnvoller ist eine bewusste, differenzierte Regel:

• Jeden KI-Crawler über sein eigenes User-Agent-Token einzeln zulassen oder sperren, statt eine Sammelregel für alle Bots zu schreiben.
• Pfade mit Umlauten oder Sonderzeichen in der robots.txt in Prozent-Encoding schreiben, nicht in der rohen Schreibweise aus der Adresszeile.
• Die Datei regelmäßig mit einem Robots.txt-Tester prüfen statt sich auf die optische Lesbarkeit zu verlassen – wer unsicher ist, wie seine Website insgesamt für Crawler und KI-Suche aufgestellt ist, findet erste Hinweise im kostenlosen SEO-Check.
• Eine Sperre nicht als rückwirkenden Schutz missverstehen: Inhalte, die ein Crawler vor der Sperre abgerufen hat, lassen sich darüber nicht zurückholen.

Wer rechtlich gegen die Nutzung bereits gesammelter Inhalte vorgehen will, braucht andere Mittel als die robots.txt – etwa individuelle Nutzungsbedingungen oder eine direkte Anfrage beim jeweiligen KI-Anbieter.

Quellen

Search Engine Roundtable: Google Explains robots.txt Rules For AI Crawlers, Emojis, International URLs & More
Search Engine Journal: Google Explains The Limit Of Robots.txt For AI Content Use

Kurz beantwortet

Kann ich mit robots.txt verhindern, dass eine KI bereits gesammelte Daten nutzt?

Nein. Die robots.txt regelt nur, ob ein Crawler eine URL künftig abrufen darf. Inhalte, die ein Bot vor der Sperre bereits abgerufen und etwa für ein Training verwendet hat, lassen sich darüber nicht löschen oder zurückziehen.

Muss ich für jeden KI-Crawler eine eigene Regel schreiben?

Ja, wenn Sie unterscheiden möchten. Jeder Bot hat ein eigenes User-Agent-Token, etwa GPTBot oder PerplexityBot. Nur mit einer eigenen Regel je Token lässt sich ein bestimmter Crawler gezielt zulassen oder sperren, während andere unberührt bleiben.

Warum wirkt meine Sperre für eine URL mit Umlaut nicht?

Weil manche Crawler rohe UTF-8-Zeichen wie „ß“ oder „ü“ in der robots.txt nicht zuverlässig lesen. Google empfiehlt, solche Pfade in Prozent-Encoding zu schreiben, damit die Regel bei allen Bots gleich ankommt und nicht stillschweigend übergangen wird.