Ein Crawler, der nach 5.000 Adressen nicht fertig wird, obwohl die Website 300 Seiten hat, ist in eine Falle gelaufen. Irgendwo erzeugt die Website ständig neue Adressen: einen weiteren Monat im Kalender, eine weitere Filterkombination, eine weitere Verschachtelung im Pfad. Für SEO-Werkzeuge ist das lästig. Für den Googlebot bedeutet es, dass er Zeit auf Adressen verwendet, die nichts Neues enthalten. Diese Seite zeigt, wie Sie eine Crawl-Falle erkennen, nämlich im eigenen Crawl, in den Server-Logs und in der Search Console, und wie Sie nach einer Korrektur prüfen, ob sie geschlossen ist.
Woher solche Fallen technisch kommen und wie Sie sie beim Bau einer Website von vornherein vermeiden, beschreibt der Ratgeber Endlose URL-Räume vermeiden. Eine kurze Definition finden Sie im Glossar unter Crawler-Falle.
Warum Crawl-Fallen schaden
Google beschreibt das Grundproblem in seinen Hinweisen zur URL-Struktur. Zu komplexe Adressen, besonders mit vielen Parametern, führen zu unnötig vielen URLs, die auf identische oder ähnliche Inhalte verweisen [1]. Die Folge kann laut Google sein, dass der Googlebot mehr Bandbreite braucht als nötig und die Website womöglich nicht vollständig indexiert wird [1]. Für die facettierte Navigation formuliert Google es so: "Wie bereits erwähnt, haben die Crawler weniger Zeit für neue, nützliche URLs, wenn sie nutzlose URLs crawlen." [2]
Bei kleinen Websites bleibt das oft folgenlos. Bei großen Shops und Portalen kann es dazu beitragen, dass neue Seiten verzögert gefunden werden. Wie das mit dem Crawl-Budget zusammenhängt, steht im Ratgeber Crawl-Budget optimieren.
Die typischen Fallen
Google zählt in seinen Hinweisen zur URL-Struktur die üblichen Quellen auf, darunter additive Filter, dynamisch erzeugte Kalender, Sitzungskennungen und irrelevante Parameter, fehlerhafte relative Links und dynamisch erzeugte Seiten wie Suchergebnisse [1]. Beim Erkennen kommt es darauf an, welche Spur jede dieser Quellen in einer Adressliste hinterlässt. Nach diesen Mustern suchen Sie im Crawl und in der Logdatei:
| Falle | Spur in der Adressliste |
|---|---|
| Kalender ohne Ende | Jahres- oder Monatsangaben weit jenseits des aktuellen Jahres, etwa ?monat=2091-04 oder /termine/2091/ |
| Kombinierbare Filter | mehrere Filterparameter in einer Adresse, dieselben Filter in wechselnder Reihenfolge, dazu Sortierung und Seitenzahl |
| Sitzungskennungen | lange Zeichenketten hinter Parametern wie sid= oder sessionid=, dieselbe Seite unter vielen Adressen, die sich nur darin unterscheiden |
| Tracking-Parameter in internen Links | Kampagnenparameter wie utm_source an Adressen, die von der eigenen Website aus verlinkt sind |
| Fehlerhafte relative Links | Pfade, in denen sich derselbe Abschnitt wiederholt, etwa /leistungen/kontakt/kontakt/kontakt/ |
| Interne Suche | Suchparameter wie ?q= oder ?s= mit immer neuen Suchbegriffen |
| Soft 404 | viele Adressen mit Status 200, deren Seiten "nichts gefunden" oder eine leere Liste zeigen |
Soft-404-Seiten sind schwer zu sehen, weil ihr Statuscode unauffällig ist. Google crawlt sie laut seinem Leitfaden zum Crawling-Budget weiter [3]. Bei Single-Page-Anwendungen entstehen Soft-404-Fehler besonders leicht. Google nennt dafür eine Weiterleitung auf eine Adresse mit echtem 404 oder ein per JavaScript gesetztes noindex als Lösung [5]. Im Crawler finden Sie solche Seiten über ihre geringe Textmenge oder einen immer gleichen Seitentitel wie "Keine Ergebnisse".
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
So erkennen Sie eine Crawl-Falle
Mit einem SEO-Crawler
Lassen Sie einen Crawler über die Website laufen und begrenzen Sie dabei die Zahl der Adressen oder die Klicktiefe, damit er nicht endlos arbeitet. Als Vergleichswert dient die Zahl der Seiten, die die Website tatsächlich hat, etwa aus der XML-Sitemap oder dem CMS. Findet der Crawler ein Vielfaches davon, lohnt die genauere Suche.
Sortieren Sie die gefundenen Adressen dann nach Verzeichnis und nach Parameternamen und zählen Sie, wie viele Adressen auf jedes Muster entfallen. Eine Falle zeigt sich als Muster, das einen großen Teil aller Adressen ausmacht, als ungewöhnlich große Klicktiefe oder als Pfad, in dem sich dieselben Abschnitte wiederholen. Auch die Spalte mit der kanonischen Adresse hilft: Viele Adressen mit demselben Canonical sind meist Varianten einer einzigen Seite. Über die Liste der eingehenden Links einer auffälligen Adresse finden Sie die Stelle, an der die Falle beginnt, zum Beispiel das Kalendermodul oder eine Vorlage mit relativem Link. Welche Crawler sich eignen, zeigt der Vergleich SEO-Crawler im Vergleich. Wie Sie einen Crawl auswerten, beschreibt Crawling mit Screaming Frog auswerten.
In den Server-Logs
Ein Crawler zeigt, was möglich ist. Die Logdateien zeigen, was der Googlebot tatsächlich abruft. Prüfen Sie zuerst, ob die Anfragen wirklich von Google stammen. Google beschreibt dafür zwei Wege: einen umgekehrten DNS-Lookup mit anschließendem Abgleich oder den Vergleich der IP-Adresse mit den veröffentlichten IP-Bereichen von Google [6]. Danach gruppieren Sie die Anfragen nach Adressmuster, also nach Verzeichnis und Parameternamen. Wenn ein Kalender, ein Filterparameter oder eine Sitzungskennung einen großen Teil der Anfragen ausmacht, haben Sie die Falle gefunden.
Nach unserer Erfahrung schärfen zwei weitere Auswertungen das Bild. Zählen Sie je Tag, wie viele Adressen der Googlebot zum ersten Mal abruft. Wächst diese Zahl weiter, obwohl Sie nichts Neues veröffentlichen, erzeugt die Website laufend neue Adressen. Sehen Sie sich außerdem die Statuscodes der auffälligen Muster an. Liefern Adressen aus einer Falle durchgehend 200, antwortet der Server auf Adressen, die es nicht geben sollte. Mehr dazu im Ratgeber Server-Logs auswerten.
In der Search Console
Der Bericht Crawling-Statistik zeigt die Anfragen des Googlebot aufgeschlüsselt nach Antwort, Dateityp, Zweck und Googlebot-Typ [4]. Der Zweck "Erkennung" steht dort für Adressen, die Google noch nie gecrawlt hat [4]. Bleibt dieser Anteil auf einer Website mit wenig neuen Inhalten dauerhaft hoch, ist das nach unserer Einschätzung ein Hinweis auf eine Quelle ständig neuer Adressen.
Jeder Eintrag in diesen Gruppen lässt sich anklicken und zeigt Beispieladressen. Google nennt die Liste nur einen repräsentativen Ausschnitt [4], für ein wiederkehrendes Muster reicht sie oft trotzdem. Bei einer Domain-Property mit mehreren Subdomains können Sie die Zahlen auch für eine einzelne Subdomain ansehen [4]. Das hilft, wenn die Falle nur auf einem Host sitzt, etwa im Shop. Wie Sie den Bericht insgesamt lesen, beschreibt der Ratgeber Crawling-Statistiken der Search Console lesen. Im Bericht zur Seitenindexierung fallen Fallen oft als große Zahl gefundener, aber nicht indexierter Adressen mit gleichem Muster auf.
Nach der Korrektur prüfen
Wie Sie eine Falle schließen, hängt von ihrer Ursache ab. Die Gegenmittel je Ursache, von der Sperre in der robots.txt über echte 404-Antworten bis zu Sitzungskennungen in Cookies, stehen im Ratgeber Endlose URL-Räume vermeiden. Für Filter nennt Google die robots.txt als wirksamsten Weg, alternativ Filter in URL-Fragmenten [2].
Bevor Sie eine Sperre in die robots.txt schreiben, prüfen Sie an einigen Beispieladressen, ob die Regel genau die Falle trifft und keine Seiten, die in die Suche gehören. Ein zu weit gefasstes Muster sperrt schnell auch Produkt- oder Kategorieseiten. Nach dem Hochladen beobachten Sie in der Crawling-Statistik und in den Server-Logs, ob die Anfragen an das gesperrte Muster zurückgehen. Ein neuer Durchlauf Ihres Crawlers mit denselben Einstellungen sollte deutlich weniger Adressen finden. Wie Sie Regeln sauber formulieren, steht im Ratgeber robots.txt-Fehler vermeiden.
Ein Mittel hilft hier nicht: noindex. Google muss eine Seite abrufen, um das noindex zu lesen, die Crawling-Zeit ist dann schon verbraucht [3]. In der Logdatei sehen Sie deshalb auch nach einem gesetzten noindex weiter Abrufe des Googlebot auf das Muster.
In unseren Projekten entstehen viele Fallen durch Erweiterungen, die nachträglich installiert wurden: ein Kalender-Plugin, ein Vergleichsmodul, eine Merkliste mit eigenen Adressen. Prüfen Sie nach jeder neuen Erweiterung mit einem kurzen Crawl, ob sich die Zahl der Adressen sprunghaft verändert.
Ihr Crawler findet kein Ende oder die Crawling-Statistik zeigt Muster, die Sie nicht einordnen können? Stellen Sie die Frage in der gratis Sprechstunde. Die Bereinigung großer Websites übernimmt SEO NW im Rahmen der Leistung Indexierungsprobleme beheben.
- Organisation Best Practices für die URL-Struktur für die Google Suche. Google Search Central. Stand 26.10.2026. abgerufen am 31.10.2026
- Organisation Crawling von Facettensuche-URLs verwalten. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation Crawling-Budget optimieren. Google Search Central. Stand 16.09.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Grundlagen von JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
- Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Crawling-Infrastruktur. Stand 25.03.2026. abgerufen am 31.10.2026
Häufige Fragen
Was ist eine Crawl-Falle?
Ein Bereich einer Website, der unbegrenzt viele Adressen erzeugt, meist mit gleichem oder sehr ähnlichem Inhalt. Typische Beispiele sind Kalender ohne Ende, kombinierbare Filter, Sitzungs-IDs in Adressen und fehlerhafte relative Links.
Wie finde ich eine Crawl-Falle am schnellsten?
Mit einem SEO-Crawler mit begrenzter Adresszahl. Vergleichen Sie die gefundene Zahl mit der Zahl Ihrer echten Seiten und sortieren Sie die Ergebnisse nach Verzeichnis und Parameter. Ein Muster, das ein Vielfaches der übrigen Adressen ausmacht, ist der wahrscheinlichste Kandidat.
Hilft noindex gegen Crawl-Fallen?
Nein. Google muss die Seite abrufen, um das noindex zu lesen. Wirksam sind eine Sperre per robots.txt, korrekte 404-Antworten und Adressen ohne Sitzungs-IDs. Ob die Korrektur greift, zeigen danach Crawling-Statistik und Server-Logs.
Woran erkenne ich einen Endloskalender im Crawl?
An Adressen mit Jahres- oder Monatsangaben weit in der Zukunft, die alle dieselbe Vorlage zeigen. In den Server-Logs taucht das Kalendermuster dann mit vielen Abrufen des Googlebot auf. Wie Sie den Kalender begrenzen, steht im Ratgeber "Endlose URL-Räume vermeiden".
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
