Eine robots.txt ist in zwei Minuten angelegt. Genauso schnell ist sie falsch: Eine einzige Zeile kann die ganze Website vom Crawling ausschließen, ein Großbuchstabe im Pfad macht eine Sperre wirkungslos. Dieser Ratgeber zeigt Zeile für Zeile, wie Sie die Datei so schreiben, dass Google und andere Crawler sie so lesen, wie Sie es meinen. Grundlage sind Googles Spezifikation und die Norm RFC 9309, die das Robots Exclusion Protocol seit September 2022 als RFC der IETF beschreibt [2, 3].
Welche Fehler in bestehenden Dateien am häufigsten stecken und wie Sie sie finden, steht im Ratgeber robots.txt Fehler vermeiden. Regeln für Filteradressen im Shop behandelt Filter per robots.txt sperren, Regeln für KI-Crawler KI-Crawler blockieren oder zulassen.
Wofür die Datei da ist
Google beschreibt den Zweck nüchtern: Die Datei soll vor allem verhindern, dass Ihre Website mit Anfragen überlastet wird. Dann folgt ein Satz, den viele überlesen: "Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen." [4] Eine gesperrte Adresse kann weiter in den Suchergebnissen stehen, dann ohne Beschreibung, zum Beispiel wenn andere Websites auf sie verlinken [4]. Soll eine Seite aus dem Index verschwinden, brauchen Sie noindex, einen Passwortschutz oder einen 404- oder 410-Status. Wie das geht, steht unter Seiten aus dem Index entfernen.
Daraus ergibt sich die erste Planungsfrage: Welche Bereiche sollen Crawler gar nicht erst anfragen? Häufig sind das interne Suchergebnisse, Warenkorb und Kundenkonto, endlose Kalender oder Sortierfassungen ohne eigenen Suchzweck. Alles, was im Index stehen soll, bleibt offen, und ebenso alles, was Google zum Darstellen dieser Seiten braucht, also CSS, JavaScript und Bilder. Google rät, Ressourcen nur dann zu sperren, wenn die Seiten ohne sie nicht deutlich schlechter verstanden werden [4].
Name, Ort und Format
Für die Datei selbst gelten feste Regeln [1, 2]:
- Sie heißt robots.txt, und jede Website hat genau eine davon.
- Sie liegt im Stammverzeichnis, also unter https://www.example.com/robots.txt. Eine Datei unter /pages/robots.txt ist falsch platziert.
- Ihre Regeln gelten nur für das Protokoll, den Host und den Port, unter dem sie liegt. Eine Subdomain wie shop.example.com braucht eine eigene Datei.
- Sie ist eine UTF-8-codierte Nur-Text-Datei. Google rät von Textverarbeitungsprogrammen ab, weil diese Dateien häufig in einem eigenen Format speichern.
- Google verarbeitet höchstens 500 Kibibyte. "Alles, was sich jenseits der maximalen Dateigröße befindet, wird ignoriert." [2]
Für einen Verbund aus Hauptseite und Subdomains heißt das: Jeder Host liefert seine eigene robots.txt aus, und eine Regel auf www wirkt auf keiner Subdomain.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Gruppen: für wen eine Regel gilt
Eine robots.txt besteht aus einer oder mehreren Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, danach folgt eine Regel pro Zeile. Das Sternchen steht für alle Crawler [1]. Beim Namen des Crawlers spielt die Groß- und Kleinschreibung keine Rolle; RFC 9309 schreibt diesen Abgleich ohne Rücksicht auf Groß- und Kleinschreibung verbindlich vor [3].
Wichtiger ist, wie Google die passende Gruppe auswählt. In der Spezifikation stehen drei Sätze, die Sie kennen sollten [2]:
- "Für einen bestimmten Crawler gilt jeweils nur eine Gruppe."
- "Bestimmte User-Agent-Gruppen und globale Gruppen (*) werden nicht kombiniert."
- "Die Reihenfolge der Gruppen innerhalb der robots.txt-Datei spielt keine Rolle."
Die Folge: Sobald Sie eine eigene Gruppe für Googlebot anlegen, liest Googlebot die Sternchen-Gruppe nicht mehr. Jede Sperre, die auch für Google gelten soll, muss dann in der Googlebot-Gruppe noch einmal stehen. Gibt es dagegen mehrere Gruppen mit demselben Crawlernamen, fasst Google sie intern zu einer zusammen [2].
Disallow und Allow
Disallow sperrt einen Pfad, Allow gibt einen Pfad innerhalb eines gesperrten Bereichs wieder frei. Google schreibt: "Der Pfadwert muss mit dem Zeichen / beginnen, das die Stammebene kennzeichnet." Und: "Beim Wert wird zwischen Groß- und Kleinschreibung unterschieden." [2] Eine Zeile ohne Pfad ignorieren die Crawler [2].
Eine Regel ist ein Präfix. Disallow: /fish trifft laut Googles Beispieltabelle /fish.html, /fishheads und /fish.php?id=anything, aber nicht /Fish.asp und nicht /desert/fish. Mit Schrägstrich am Ende, also /fish/, trifft die Regel nur das Verzeichnis und alles darunter [2]. Viele ungewollte Sperren entstehen genau hier: Wer /shop sperrt, sperrt auch /shopware-ratgeber.
Treffen mehrere Regeln dieselbe Adresse, gewinnt bei Google die spezifischste, gemessen an der Länge des Regelpfads. Bei Gleichstand "verwendet Google die am wenigsten restriktive" [2]. RFC 9309 formuliert dasselbe als Empfehlung: Sind eine Allow- und eine Disallow-Regel gleichwertig, SOLLTE (im Original "SHOULD") die Allow-Regel gelten [3]. Eine zwingende Vorschrift ist das nicht. Andere Crawler können solche Konflikte also anders auflösen, und deshalb schreiben Sie Regeln am besten so, dass gar kein Gleichstand entsteht.
Sonderzeichen: Sternchen und Dollarzeichen
Google kennt zwei Sonderzeichen in Pfaden. Das Sternchen steht für null oder mehr beliebige Zeichen, das Dollarzeichen kennzeichnet das Ende der URL [2]. Laut Beispieltabelle trifft /*.php auch /folder/filename.php?parameters, während /*.php$ genau diese Adresse nicht mehr trifft, weil danach noch ein Parameter folgt [2]. Die Regel Allow: /$ zusammen mit Disallow: / gibt nur die Startseite frei und sperrt alles andere [2].
Abfrageparameter gehören zum Abgleich dazu. Eine Regel wie Disallow: /*?sort= trifft deshalb Adressen, bei denen sort der erste Parameter ist. Steht er an zweiter Stelle hinter einem &, braucht es eine zweite Regel mit /*&sort=. Mehr Muster für Filter und Sortierungen stehen unter Parameter-URLs behandeln.
Die Sitemap-Zeile
Mit einer Sitemap-Zeile nennen Sie den Ort Ihrer Sitemap oder Ihres Sitemap-Index. Google verlangt dafür eine vollständige Adresse: "Es muss sich um eine voll qualifizierte URL handeln, bei der das Protokoll und der Host angegeben sind." [2] Die Sitemap darf auf einem anderen Host liegen, Sie dürfen mehrere Zeilen eintragen, und die Zeile gehört zu keiner Gruppe [2]. Laut Googles Sitemap-Anleitung kann sie an einer beliebigen Stelle der Datei stehen [6].
Was Google nicht liest
Google unterstützt vier Felder: user-agent, allow, disallow und sitemap. Wörtlich heißt es: "andere Felder wie crawl-delay werden nicht unterstützt" [2]. Auch RFC 9309 definiert neben User-agent nur Allow und Disallow; Crawl-delay kommt in der Norm nicht vor [3]. Ob ein anderer Crawler eine solche Zeile beachtet, steht allein in dessen eigener Dokumentation. Hintergrund im Glossar unter Crawl-Delay.
Kommentare beginnen mit dem Zeichen # [1]. Ungültige Zeilen überspringt Google, statt die ganze Datei zu verwerfen [2]. Das klingt tolerant, hat aber eine Kehrseite: Ein Tippfehler fällt nicht auf, die Regel wirkt einfach nicht.
Ein Muster zum Anpassen
Die folgende Datei ist ein Ausgangspunkt für eine kleine Firmenwebsite mit interner Suche und Shop-Bereich. Die Pfade sind Beispiele und müssen zu Ihrem System passen.
| Zeile | Wirkung |
|---|---|
| # Interne Suche, Warenkorb und Sortierungen, Stand 31.10.2026 | Kommentar, wird nicht ausgewertet |
| User-agent: * | Gruppe für alle Crawler |
| Disallow: /suche | sperrt /suche und jede Adresse, die damit beginnt |
| Allow: /suche/hilfe | gibt diese Unterseite wieder frei, weil die Regel länger ist |
| Disallow: /warenkorb/ | sperrt das Verzeichnis und alles darunter |
| Disallow: /*?sort= | sperrt Adressen mit sort als erstem Parameter |
| Disallow: /*&sort= | sperrt sort an späterer Stelle |
| Sitemap: https://www.example.com/sitemap.xml | nennt die Sitemap, gilt unabhängig von Gruppen |
Wir empfehlen, über jede Regel einen Kommentar mit Grund und Datum zu setzen. Wer die Datei in einem Jahr wieder öffnet, weiß dann, ob eine Sperre noch gebraucht wird.
Prüfen, hochladen, abwarten
Öffnen Sie die Datei nach dem Hochladen in einem privaten Browserfenster, um zu sehen, ob sie öffentlich erreichbar ist [1]. Der robots.txt-Bericht der Search Console zeigt für die 20 wichtigsten Hosts Ihrer Property, wann Google die Datei zuletzt abgerufen hat, mit welchem Ergebnis und welche Zeilen Probleme machen. Die Abrufe der letzten 30 Tage stehen unter "Versionen" [5]. Ob eine einzelne Adresse gesperrt ist, zeigt das URL-Prüftool. Für lokale Tests verweist Google auf seine quelloffene robots.txt-Bibliothek [5].
Danach braucht es etwas Geduld. Google speichert die Datei normalerweise bis zu einen Tag lang im Cache [2], und RFC 9309 empfiehlt Crawlern, eine zwischengespeicherte Fassung nicht länger als einen Tag (im Original "24 hours") zu nutzen, solange die Datei erreichbar ist [3]. In Notfällen, etwa nach einer versehentlichen Komplettsperre, können Sie im Bericht ein erneutes Crawlen der Datei beantragen [5].
Sie sind unsicher, ob eine Regel zu weit greift oder ob Ihr System die Datei überhaupt korrekt ausliefert? Bringen Sie Ihre Frage in die gratis Sprechstunde mit, dort besprechen wir sie mit Ihnen. Wenn Seiten durch eine Sperre schon aus der Suche gefallen sind, hilft die Leistung Indexierungsprobleme beheben. Die Kurzfassung des Begriffs steht im Glossar unter robots.txt.
- Organisation robots.txt-Datei erstellen und senden. Google Search Central. Stand 26.11.2025. abgerufen am 31.10.2026
- Organisation Wie Google die robots.txt-Spezifikation interpretiert. Google Crawling-Infrastruktur. Stand 27.10.2026. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation robots.txt-Bericht. Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Sitemap erstellen und bei Google einreichen. Google Search Central. Stand 15.07.2026. abgerufen am 31.10.2026
Häufige Fragen
Wo muss die robots.txt liegen?
Im Stammverzeichnis des Hosts, also unter https://www.example.com/robots.txt. Die Regeln gelten nur für dieses Protokoll, diesen Host und diesen Port. Jede Subdomain braucht ihre eigene Datei.
Welche Regel gewinnt, wenn Allow und Disallow dieselbe Adresse treffen?
Bei Google die spezifischere Regel, gemessen an der Länge des Pfads. Sind beide gleich lang, wendet Google die weniger einschränkende an. RFC 9309 empfiehlt in diesem Fall Allow, schreibt es aber nicht zwingend vor.
Versteht Google die Zeile Crawl-delay?
Nein. Google unterstützt nur user-agent, allow, disallow und sitemap und nennt crawl-delay ausdrücklich als nicht unterstützt. Auch RFC 9309 enthält Crawl-delay nicht.
Muss jede Website eine robots.txt haben?
Nein. Fehlt die Datei und der Server antwortet mit 404, behandelt Google die Website so, als gäbe es keine Einschränkungen. Eine Datei lohnt sich, sobald es Bereiche gibt, die Crawler nicht anfragen sollen, oder wenn Sie dort Ihre Sitemap nennen möchten.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
