Für Filteradressen ohne Suchwert ist die Sperre in der robots.txt Googles erste Empfehlung. Die Seite zur facettierten Navigation beginnt mit dem Satz: "Verwende robots.txt, um das Crawling von Facettensuche-URLs zu verhindern." [1] Canonical und nofollow nennt Google dort auf lange Sicht weniger wirksam [1]. Die Sperre ist schnell geschrieben, aber eine falsche Regel kann auch Kategorien oder Produkte treffen. Dieser Ratgeber zeigt, wie Sie Regeln für Filter aufbauen, wie Google sie auswertet und wie Sie sie vor dem Livegang prüfen. Die allgemeinen Grundlagen der Datei stehen im Ratgeber robots.txt richtig schreiben.
Was die Sperre leistet und was nicht
Eine Disallow-Regel verbietet den Abruf. Google ruft gesperrte Adressen nicht ab und verbraucht dafür kein Crawling. Die Aufnahme in den Index verhindert sie nicht sicher: Google kann gesperrte Adressen ohne ihren Inhalt indexieren, deshalb rät Google ausdrücklich davon ab, die robots.txt zur Kanonisierung zu verwenden [2]. Für Filterseiten ohne Suchwert ist das meist hinnehmbar.
Anders ist es bei Filterseiten, die bereits im Index stehen. Ein noindex auf diesen Seiten kann Google nur lesen, wenn die Seite nicht per robots.txt blockiert ist [3]. Die Reihenfolge lautet deshalb: erst noindex setzen und warten, bis die Seiten aus dem Index verschwunden sind, dann sperren. Wie Sie das umsetzen, beschreibt der Ratgeber Filter mit noindex.
Googles Beispiel gelesen
Google zeigt auf seiner Seite zur facettierten Navigation eine fertige Regelgruppe [1]:
- user-agent: Googlebot
- disallow: /*?*products=
- disallow: /*?*color=
- disallow: /*?*size=
- allow: /*?products=all$
Die drei Disallow-Zeilen sperren jede Adresse, in deren Abfrageteil irgendwo products=, color= oder size= vorkommt. Das Sternchen steht für null oder mehr beliebige Zeichen [4]. Das erste Sternchen fängt also jeden Pfad ab, das Fragezeichen markiert den Beginn der Parameter, und das zweite Sternchen erlaubt beliebige andere Parameter davor. Die Allow-Zeile gibt Adressen wieder frei, die auf ?products=all enden, im Beispiel die ungefilterte Übersicht. Das Dollarzeichen kennzeichnet das Ende der Adresse [4], sodass products=all&color=rot weiterhin gesperrt bleibt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Welche Regel gewinnt
Sobald Allow- und Disallow-Regeln zusammenkommen, entscheidet der Vorrang. Google verwendet die Regel, die gemessen an der Länge des Regelpfads am spezifischsten ist. Bei widersprüchlichen Regeln, auch solchen mit Platzhaltern, gilt die am wenigsten restriktive [4]. Im Beispiel oben ist allow: /*?products=all$ länger als disallow: /*?*products= und gewinnt deshalb für die Übersicht.
Zwei weitere Eigenschaften führen oft zu Fehlern. Beim Pfad unterscheidet Google zwischen Groß- und Kleinschreibung. Eine Regel für /*?*Farbe= trifft farbe= nicht [4]. Und eine Zeile wie /fish* bedeutet dasselbe wie /fish, ein Sternchen am Ende ist also überflüssig [4].
Für welchen Crawler die Regeln gelten
Googles Beispiel beginnt mit user-agent: Googlebot. Die Regeln gelten dann nur für diesen Crawler. Das ist wichtig, weil ein Crawler genau eine Gruppe befolgt, nämlich die, deren User-Agent am besten zu ihm passt. Alle anderen Gruppen ignoriert er [4]. Steht in Ihrer Datei bereits eine Gruppe für Googlebot, etwa mit einer alten Sperre für ein Verzeichnis, und Sie schreiben die Filterregeln nur unter user-agent: *, dann wirken sie für den Googlebot nicht. Die spezifische Gruppe und die allgemeine Gruppe werden laut Google nicht kombiniert [4]. Mehrere Gruppen für denselben User-Agent fasst Google dagegen zu einer zusammen [4].
Für Filter ist es meist sinnvoll, die Regeln unter user-agent: * zu schreiben, damit auch andere Suchmaschinen und Werkzeuge sie befolgen. Gibt es zusätzlich eine eigene Gruppe für Googlebot, gehören die Filterregeln auch dort hinein. Nutzen Sie Kommentare, um die Herkunft jeder Regel festzuhalten. Alles hinter einem Rautezeichen ignoriert Google [4]. Eine Zeile wie "# Filter Farbe, Plan vom Relaunch" erspart später die Frage, warum eine Regel existiert und ob sie noch gebraucht wird.
Regeln für typische Filterformen
Wie die Regel aussieht, hängt davon ab, wie Ihr Shop Filter in die Adresse schreibt.
| Form der Adresse | Regel | Achten Sie auf |
|---|---|---|
| /schuhe?farbe=rot | Disallow: /*?*farbe= | Parameter mit gleichem Wortende wie unterfarbe= werden mitgesperrt |
| /schuhe?filter[farbe]=rot | Disallow: /*?*filter | Google rät für indexierbare Filter ohnehin von Klammern ab [1] |
| /schuhe/f/farbe-rot | Disallow: /*/f/ | das Kennzeichen /f/ darf in keinem anderen Pfad vorkommen |
| /schuhe?sort=preis | Disallow: /*?*sort= | die Regel trifft sort= auch als ersten Parameter |
Die Adressen in der Tabelle sind Beispiele. Prüfen Sie für Ihr System, welche Zeichen tatsächlich vorkommen. Wer indexierbare Filter im Pfad und alle übrigen als Parameter führt, kommt mit wenigen Regeln aus. Diesen Aufbau beschreibt der Ratgeber Filternavigation planen.
Was nicht gesperrt werden darf
Erreichbar bleiben müssen nach Google die Seiten der einzelnen Produkte und eine ungefilterte Übersicht [1]. Dazu kommen die Ressourcen, die zum Darstellen der Seiten nötig sind. Google rendert kein JavaScript aus Dateien oder Seiten, die gesperrt sind [5]. Lädt Ihr Shop die Produktliste über eine Schnittstelle mit Filterparametern, darf die Regel diese Schnittstelle für die ungefilterte Liste nicht treffen.
Prüfen Sie außerdem, ob gesperrte Adressen in der Sitemap stehen. Eine Adresse, die Sie Google zur Indexierung melden und gleichzeitig für den Abruf sperren, ist ein Widerspruch. Nehmen Sie gesperrte Filteradressen aus der Sitemap heraus.
Testen vor und nach dem Livegang
Vor dem Livegang testen Sie die Regeln gegen eine Liste echter Adressen: einige Kategorien, Produkte, Seitenzahlen und Filterkombinationen. Google weist für lokale Tests auf seine quelloffene Bibliothek für robots.txt hin [6]. Ein Desktop-Crawler, der die robots.txt wie Google auswertet, zeigt im Probelauf, welche Adressen als gesperrt erscheinen. Wie Sie so einen Crawl auswerten, steht im Ratgeber Crawling mit Screaming Frog auswerten.
Nach dem Livegang hilft die Search Console. Der robots.txt-Bericht zeigt, welche robots.txt-Dateien Google für die wichtigsten Hosts gefunden hat, wann sie zuletzt gecrawlt wurden und welche Warnungen oder Fehler es gab. In Notfällen können Sie dort ein erneutes Crawlen der Datei anfordern [6]. Ob eine einzelne Adresse gesperrt ist, zeigt das URL-Prüftool [6]. Rechnen Sie mit etwas Verzögerung, denn Google speichert die robots.txt normalerweise bis zu einen Tag lang zwischen [4]. Halten Sie die Datei außerdem schlank: Google liest höchstens 500 KiB, alles danach wird ignoriert [4].
Im Bericht Crawling-Statistik sollte der Anteil der Anfragen auf Filteradressen danach sinken. Woran Sie das erkennen, beschreibt der Ratgeber Filternavigation prüfen. Typische Fehler in der Datei selbst sammelt der Ratgeber robots.txt-Fehler vermeiden.
Sie haben Regeln entworfen und möchten wissen, ob sie zu weit greifen? Bringen Sie die robots.txt und einige Beispieladressen in die gratis Sprechstunde und stellen Sie dort Ihre Frage.
- Organisation Crawling von URLs mit facettierter Navigation verwalten. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation Doppelte URLs zusammenfassen (Kanonisierung). Google Search Central. Stand 15.07.2026. abgerufen am 31.10.2026
- Organisation Aufnahme in den Suchindex mithilfe von noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Wie Google die robots.txt-Spezifikation interpretiert. Google Crawling-Infrastruktur. Stand 27.10.2026. abgerufen am 31.10.2026
- Organisation Grundlagen von JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
- Organisation robots.txt-Bericht. Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
Häufige Fragen
Entfernt eine robots.txt-Sperre Filterseiten aus dem Index?
Nicht zuverlässig. Die Sperre verhindert den Abruf, aber Google kann gesperrte Adressen ohne Inhalt indexieren, wenn sie verlinkt sind. Bereits indexierte Seiten nehmen Sie zuerst mit noindex heraus und sperren danach.
Was bedeuten Sternchen und Dollarzeichen in der robots.txt?
Das Sternchen steht für null oder mehr beliebige Zeichen, das Dollarzeichen für das Ende der Adresse. Mit beiden lassen sich Parameter an jeder Stelle einer Adresse erfassen.
Welche Regel gilt, wenn Allow und Disallow passen?
Google nimmt die Regel mit dem längsten passenden Pfad. Sind zwei Regeln gleich spezifisch, gilt die weniger strenge, also Allow.
Wie schnell wirkt eine neue Sperre?
Google speichert die robots.txt normalerweise bis zu einen Tag lang zwischen. In Notfällen können Sie im robots.txt-Bericht der Search Console ein erneutes Crawlen der Datei anfordern.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
