Über das Crawl-Budget wird viel geschrieben, oft mit dem Unterton, jede Website müsse es pflegen. Google sieht das nüchterner. Die meisten Websites haben kein Crawl-Problem. Für große Shops, Portale und Verzeichnisse kann es aber entscheiden, wie schnell neue Seiten in der Suche erscheinen. Diese Seite zeigt, wann es sich lohnt, das Crawl-Budget zu optimieren, welche Maßnahmen Google empfiehlt und welche verbreiteten Ratschläge nichts bringen.
Die Grundbegriffe erklärt das Glossar unter Crawl-Budget. Wie Google überhaupt crawlt, beschreibt der Ratgeber Crawling verstehen.
Für wen das Thema wichtig ist
Google richtet seinen Leitfaden zum Crawling-Budget an drei Gruppen [1]:
- "große Websites (über 1 Million einzelne Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert"
- mittelgroße Websites mit über 10.000 Seiten, deren Inhalt sich täglich ändert
- Websites, bei denen ein großer Teil der Adressen in der Search Console als "Gefunden, zurzeit nicht indexiert" eingestuft ist
Google betont, dass diese Zahlen grobe Richtwerte sind [1]. Für kleinere Websites sagt Google: Wenn neue Seiten anscheinend noch am Tag ihrer Veröffentlichung gecrawlt werden, müssen Sie den Leitfaden nicht lesen [1]. Ein lokaler Betrieb mit 50 Seiten braucht sich darum also nicht zu kümmern. Anders sieht es aus, wenn ein Shop zwar nur einige Tausend Produkte führt, sein System durch Filter und Parameter aber ein Vielfaches an Adressen erzeugt. Für das Crawling zählt die Zahl der erreichbaren Adressen.
Woraus das Budget besteht
Google beschreibt das Crawling-Budget als Zusammenspiel aus zwei Teilen [1]. Das Crawling-Kapazitätslimit, auch Hostlast genannt, legt fest, wie viel Google crawlen kann, ohne Ihren Server zu überlasten. Es steigt, wenn der Server schnell antwortet, und sinkt bei Serverfehlern oder Signalen zur Ratenbegrenzung wie dem Statuscode 429 [1]. Der Crawling-Bedarf beschreibt, wie viel Google crawlen möchte, abhängig etwa von der Beliebtheit der Seiten und davon, wie oft sie sich ändern [1].
Daraus folgen zwei Wege. Sie können die Kapazität erhöhen, indem Ihr Server schneller und stabiler antwortet. Und Sie können dafür sorgen, dass der vorhandene Bedarf auf die richtigen Adressen fällt, statt auf Duplikate und Endlosschleifen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Die Maßnahmen, die Google empfiehlt
Duplikate zusammenführen
Doppelte Inhalte binden Crawling, ohne dass etwas Neues gefunden wird. Google empfiehlt, sie zusammenzuführen, damit sich das Crawling auf einzigartige Inhalte konzentriert [1]. Die kanonische Seite einer Duplikatgruppe crawlt Google laut eigener Aussage häufiger als ihre Duplikate [5]. Wie Sie die Hauptadresse festlegen, beschreibt der Ratgeber Canonical bei Duplicate Content.
Unwichtige Adressen per robots.txt sperren
Adressen, die Google nicht crawlen soll, etwa Filterkombinationen, interne Suchergebnisse oder Sitzungsparameter, sperren Sie in der robots.txt. Eine Einschränkung nennt Google ausdrücklich: "Verwende die robots.txt-Datei nicht, um das Crawling-Budget vorübergehend anderen Seiten zuzuweisen." [1] Die Sperre ist für Adressen gedacht, die dauerhaft nicht gecrawlt werden sollen. Wie Sie solche Regeln schreiben, steht unter robots.txt richtig schreiben.
Korrekte Statuscodes
Für dauerhaft entfernte Seiten empfiehlt Google den Statuscode 404 oder 410 [1]. Soft-404-Seiten, die einen Fehler zeigen, aber den Status 200 liefern, sollten Sie beseitigen, weil Google sie weiter crawlt [1].
Sitemaps und Weiterleitungen
Halten Sie Ihre Sitemaps aktuell und nutzen Sie das Element lastmod für geänderte Inhalte [1]. Lange Weiterleitungsketten sollten Sie vermeiden. Google schreibt dazu: "Diese wirken sich negativ auf das Crawling aus." [1]
Schneller antworten
Laut Google kann der Googlebot möglicherweise mehr Inhalte einer Website lesen, wenn er ihre Seiten schneller laden und rendern kann [1]. Kurze Antwortzeiten des Servers und HTTP-Caching mit dem Statuscode 304 für unveränderte Inhalte helfen dabei [1]. Eine schnelle Website nützt also gleichzeitig Besuchern und dem Crawling.
Was nicht hilft
Der verbreitetste Irrtum betrifft noindex. Google erklärt, dass eine Seite mit noindex trotzdem angefordert wird und erst danach ignoriert wird. Der Satz in der Dokumentation dazu lautet: "Dadurch geht Crawling-Zeit verloren." [1] Für Seiten, die gar nicht gecrawlt werden sollen, ist die robots.txt das richtige Mittel.
Ein zweiter Irrtum ist die Annahme, häufigeres Crawling bringe bessere Rankings. Google schrieb dazu schon 2017, eine höhere Crawling-Rate führe nicht zwangsläufig zu besseren Positionen in den Suchergebnissen [6]. Der aktuelle Leitfaden behandelt das Crawling-Budget als Frage der Ressourcen [1]. Ziel der Optimierung ist, dass wichtige Seiten schnell gefunden und aktualisiert werden.
Fortschritt messen
Das wichtigste Werkzeug ist der Bericht Crawling-Statistiken in der Search Console. Sie finden ihn in den Einstellungen der Property. Er zeigt die Gesamtzahl der Crawling-Anfragen, die heruntergeladene Datenmenge, die durchschnittliche Reaktionszeit und den Hoststatus. Dazu kommen Aufschlüsselungen nach Antwort, Dateityp, Zweck und Googlebot-Typ [2]. Der Zweck unterscheidet Erkennung, also neue Adressen, von Aktualisierung bereits bekannter Seiten [2]. Der Bericht steht nur für Properties auf Stammebene zur Verfügung [2]. Wie Sie ihn lesen, erklärt die FAQ Search Console Crawling-Statistiken.
Achten Sie nach einer Bereinigung auf drei Entwicklungen: weniger Anfragen an gesperrte oder weitergeleitete Adressen, eine stabile oder sinkende Reaktionszeit und einen höheren Anteil wichtiger Seitentypen am Crawling. Ergänzend zeigt der Bericht zur Seitenindexierung, ob die Zahl der gefundenen, aber nicht indexierten Seiten sinkt.
Genauer als die Search Console sind die Logdateien Ihres Servers. Sie zeigen jede einzelne Anfrage des Googlebot mit Adresse und Statuscode. Wie Sie sie auswerten, beschreibt der Ratgeber Server-Logs auswerten.
In welcher Reihenfolge wir vorgehen
Bei großen Websites beginnen wir mit einer Bestandsaufnahme: Welche Adresstypen ruft der Googlebot laut Crawling-Statistik und Server-Logs am häufigsten ab, und welche davon sollen überhaupt in die Suche? Daraus ergibt sich fast von selbst die Reihenfolge. Zuerst kommen Adressmuster mit sehr vielen Abrufen und ohne Suchzweck, etwa Filterkombinationen oder Sitzungsparameter. Danach folgen Fehlerseiten mit falschem Statuscode und Weiterleitungsketten aus früheren Umbauten. Erst wenn diese Quellen beseitigt sind, lohnt sich die Feinarbeit an Sitemaps und Antwortzeiten. Jeder Schritt wird einzeln umgesetzt und in den Statistiken beobachtet, damit klar bleibt, welche Änderung welche Wirkung hatte. Für Shops mit großen Sortimenten gehört diese Arbeit zur Leistung E-Commerce SEO.
Die häufigsten Budgetfresser
Google nennt in seinen Hinweisen zur URL-Struktur typische Quellen unnötig vieler Adressen: kombinierbare Filter, irrelevante Parameter wie Verweis- und Sortierparameter und Sitzungs-IDs, dynamisch erzeugte Kalender sowie fehlerhafte relative Links [4]. Bei facettierter Navigation weist Google darauf hin, dass Crawler weniger Zeit für neue, nützliche Adressen haben, wenn sie nutzlose crawlen [3]. Nach unserer Erfahrung findet sich auf großen Websites fast immer mindestens eine dieser Quellen. Wie Sie sie aufspüren, steht im Ratgeber Crawl-Fallen erkennen.
Sie betreiben eine große Website und neue Seiten erscheinen nur langsam in der Suche? Stellen Sie die Frage in der gratis Sprechstunde. Bei vielen betroffenen Adressen hilft SEO NW mit der Leistung Indexierungsprobleme beheben.
- Organisation Crawling-Budget optimieren. Google Search Central. Stand 16.09.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Crawling von Facettensuche-URLs verwalten. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation Best Practices für die URL-Struktur für die Google Suche. Google Search Central. Stand 26.10.2026. abgerufen am 31.10.2026
- Organisation Was ist URL-Kanonisierung?. Google Search Central. Stand 09.09.2026. abgerufen am 31.10.2026
- Organisation What Crawl Budget Means for Googlebot. Google Search Central Blog. Stand 16.01.2017. abgerufen am 31.10.2026
Häufige Fragen
Muss ich mich als kleine Website um das Crawl-Budget kümmern?
In der Regel nicht. Laut Google brauchen Sie den Leitfaden zum Crawling-Budget nicht, wenn neue Seiten anscheinend noch am Tag ihrer Veröffentlichung gecrawlt werden.
Spart noindex Crawl-Budget?
Nein. Google muss die Seite abrufen, um das noindex zu lesen. Dadurch geht laut Google Crawling-Zeit verloren. Für Seiten, die nicht gecrawlt werden sollen, ist die robots.txt das richtige Mittel.
Führt mehr Crawling zu besseren Rankings?
Nicht zwangsläufig. Google schrieb 2017, eine höhere Crawling-Rate führe nicht zwangsläufig zu besseren Positionen, und beschreibt das Crawling-Budget heute als Frage der Ressourcen. Ziel ist, dass wichtige Seiten schnell gefunden und aktualisiert werden.
Wo sehe ich, wie Google meine Website crawlt?
Im Bericht Crawling-Statistiken in den Einstellungen der Search Console. Er zeigt Anfragen, Datenmenge, Reaktionszeit, Hoststatus und Aufschlüsselungen nach Antwort, Dateityp, Zweck und Googlebot-Typ.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
