Bevor eine Seite in der Google Suche erscheinen kann, muss der Googlebot sie abrufen. Dieser Schritt heißt Crawling, und er entscheidet darüber, wie schnell eine neue Produktseite, ein geänderter Preis oder ein korrigierter Fehler bei Google ankommt. Google sagt selbst, dass es nicht garantiert, eine Seite zu crawlen, zu indexieren oder auszuliefern [1]. Wer versteht, wie der Crawler arbeitet, kann ihm die Arbeit aber deutlich leichter machen. Die Kurzfassung des Begriffs steht im Glossar unter Crawling, dieser Ratgeber geht auf die Mechanik und die Stellschrauben ein.
Woher der Googlebot Ihre Adressen kennt
Google schreibt: "Es gibt kein zentrales Verzeichnis aller Webseiten." [1] Der Crawler muss jede Adresse also erst entdecken. Dafür gibt es drei Wege. Er kennt Seiten von früheren Besuchen, er folgt Links von bekannten Seiten auf neue, und er liest Sitemaps, die ein Betreiber einreicht [1]. In der Praxis sind Links der wichtigste Weg. Google empfiehlt deshalb, jede Seite, die Ihnen wichtig ist, von mindestens einer anderen Seite Ihrer Website zu verlinken [4].
Ein Link zählt dabei nur, wenn Google ihn als Link erkennt. Zuverlässig ist das bei einem a-Element mit href-Attribut. Konstruktionen wie ein Klick-Ereignis ohne href oder ein Ziel mit "javascript:" nennt Google ausdrücklich als nicht empfohlen [4]. Ein Menü, das nur per Skript reagiert, kann also für Besucher funktionieren und für den Crawler trotzdem eine Sackgasse sein. Mehr dazu im Ratgeber JavaScript-Links und Navigation.
Zwei Crawler unter einem Namen
Googlebot ist ein Oberbegriff. Dahinter stehen ein Crawler, der ein Smartphone simuliert, und einer, der einen Computer simuliert. Beide hören in der robots.txt auf dasselbe Produkt-Token, und die meisten Anfragen kommen vom Smartphone-Crawler [2]. Im Durchschnitt greift Googlebot laut Google nur einmal alle paar Sekunden auf eine Website zu, kurzfristig kann es mehr sein [2].
Abgerufen wird nicht unbegrenzt. Googlebot liest die ersten 2 MB eines unterstützten Dateityps und die ersten 64 MB einer PDF-Datei, gemessen an den unkomprimierten Daten. CSS- und JavaScript-Dateien holt er jeweils einzeln ab, für sie gilt dieselbe Grenze [2]. Für normale Seiten ist das viel Platz. Eng wird es bei HTML, in das große Datenblöcke oder Bilder als Code eingebettet sind.
Weil sich jeder als Googlebot ausgeben kann, taugt der User-Agent in Ihren Serverprotokollen nicht als Beweis. Google rät zu einem umgekehrten DNS-Lookup der IP-Adresse oder zum Abgleich mit den veröffentlichten IP-Bereichen [2]. Das ist wichtig, bevor Sie aus Protokollen Schlüsse ziehen, wie es der Ratgeber Server-Logs auswerten beschreibt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Wie viel Google abruft: Kapazität und Bedarf
Wie oft und wie viel Google auf einer Website crawlt, ergibt sich aus zwei Größen. Die erste ist das Crawling-Kapazitätslimit. Google begrenzt die Zahl gleichzeitiger Verbindungen und die Pausen dazwischen, damit der Server nicht überlastet wird. Antwortet die Website eine Zeit lang schnell, steigt das Limit. Wird sie langsamer oder liefert sie Serverfehler, sinkt es [3]. Die zweite Größe ist der Crawling-Bedarf. Er hängt vor allem davon ab, wie viele Adressen Google von Ihrer Website kennt, wie beliebt die einzelnen Seiten sind und wie aktuell sie sein müssen [3].
Für die meisten Websites ist das kein Engpass. Google richtet seinen Leitfaden zum Crawling-Budget an große Websites mit über einer Million Seiten, die sich etwa wöchentlich ändern, an mittelgroße mit über 10.000 Seiten und täglichen Änderungen und an Websites mit vielen Adressen im Status "Gefunden: zurzeit nicht indexiert". Die Zahlen nennt Google selbst nur als ungefähre Werte [3]. Wenn Ihre Website in diese Gruppen fällt, lohnt der Ratgeber Crawl-Budget optimieren.
Vom Abruf zum gerenderten Inhalt
Der Abruf ist nur der erste Teil. Google rendert die Seite mit einer aktuellen Chrome-Version und führt dabei JavaScript aus [1]. Jede Seite mit dem Statuscode 200 landet in einer Warteschlange für das Rendering, und bis sie dort an der Reihe ist, kann Zeit vergehen [5]. Inhalte, die schon im ausgelieferten HTML stehen, sind deshalb früher verfügbar als Inhalte, die erst ein Skript nachlädt.
Zwei Fehler sehen wir dabei in Audits immer wieder. Der erste sind gesperrte Ressourcen. JavaScript aus Dateien oder Seiten, die per robots.txt blockiert sind, rendert Google nicht [5]. Die robots.txt darf also keine Verzeichnisse sperren, aus denen das Theme seine Skripte und Stylesheets lädt. Der zweite Fehler ist ein noindex im ausgelieferten HTML, das erst ein Skript entfernen soll. Steht noindex im Originalcode, überspringt Google das Rendering möglicherweise, und die Änderung per Skript kommt nie an [5]. Die Grundlagen dazu stehen im Ratgeber Rendering durch Google.
Was Ihr Server dem Crawler mitteilt
Jede Antwort des Servers ist für Google ein Signal. Die wichtigsten Fälle in einer Übersicht:
| Antwort | Was Google daraus macht |
|---|---|
| Serverfehler (5xx) oder 429 | Das Kapazitätslimit sinkt, Google crawlt langsamer [3]. |
| 404 oder 410 | Ein 404 ist ein starkes Signal, die Adresse nicht erneut zu crawlen; für dauerhaft entfernte Seiten empfiehlt Google 404 oder 410 [3]. |
| Soft 404 | Die Seite wird weiter gecrawlt und verbraucht Budget [3]. |
| 304 Not Modified | Google kann eine unveränderte Seite aus dem Zwischenspeicher nehmen [3]. |
| lange Weiterleitungsketten | Laut Google wirken sie sich negativ auf das Crawling aus [3]. |
Eine Sonderrolle hat die robots.txt. Google speichert sie normalerweise bis zu einen Tag lang zwischen. Liefert sie einen Fehler aus dem Bereich 4xx (außer 429), crawlt Google, als gäbe es keine Einschränkungen. Liefert sie einen Serverfehler, stellt Google das Crawling der Website in den ersten 12 Stunden ein und nutzt danach 30 Tage lang die letzte fehlerfreie Fassung [6]. Eine ausgefallene robots.txt kann also eine ganze Website für einen halben Tag aus dem Crawling nehmen.
Crawlen ist nicht indexieren
Ein Abruf bedeutet nicht, dass die Seite in den Index kommt. Umgekehrt verhindert eine Sperre in der robots.txt nur den Abruf, nicht die Aufnahme einer Adresse, die anderswo verlinkt ist. Für die Indexierung ist noindex das richtige Werkzeug. Google trennt das in seiner Beschreibung des Googlebots ausdrücklich: robots.txt gegen das Crawling, noindex gegen die Indexierung [2]. Wie beide zusammenspielen, beantwortet die Frage Was ist der Unterschied zwischen Crawling und Indexierung.
Wie Sie das Crawling Ihrer Website beeinflussen
Erzwingen lässt sich nichts, aber vieles ebnen. Halten Sie die Zahl der Adressen klein, indem Sie Duplikate zusammenführen und Filter- oder Sortiervarianten, die niemand in der Suche braucht, vom Crawling ausschließen [3]. Verlinken Sie neue Seiten intern, sobald sie online gehen. Pflegen Sie eine Sitemap mit allen Seiten, die gecrawlt werden sollen, und setzen Sie bei Änderungen das Feld lastmod [3]. Und sorgen Sie dafür, dass der Server auch unter Last schnell antwortet, denn ein langsamer Server senkt das Limit [3].
Ob das wirkt, zeigen zwei Quellen. Die Search Console liefert mit dem Bericht Crawling-Statistik eine Sicht von außen, wie der Ratgeber Crawling-Statistiken der Search Console lesen zeigt. Ein eigener Crawl mit einem Werkzeug wie Screaming Frog zeigt dagegen, welche Adressen Ihre Website überhaupt anbietet. Wie man so einen Crawl auswertet, beschreibt der Ratgeber Crawling mit Screaming Frog auswerten. Wer die technische Seite lieber abgibt, findet bei SEO NW die Leistung Technisches SEO.
Sie sind unsicher, ob Google Ihre wichtigsten Seiten überhaupt erreicht? Stellen Sie die Frage in der gratis Sprechstunde und bringen Sie eine Beispieladresse mit.
- Organisation Umfassender Leitfaden zur Funktionsweise der Google Suche. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Googlebot. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
- Organisation Verwaltung des Crawling-Budgets. Google Crawling-Infrastruktur. Stand 16.09.2026. abgerufen am 31.10.2026
- Organisation Link-Best-Practices für Google. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Grundlagen von JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
- Organisation Wie Google die robots.txt-Spezifikation interpretiert. Google Crawling-Infrastruktur. Stand 27.10.2026. abgerufen am 31.10.2026
Häufige Fragen
Wie oft kommt der Googlebot auf meine Website?
Google gibt als Durchschnitt einen Zugriff alle paar Sekunden an, kurzfristig können es mehr sein. Wie viel insgesamt abgerufen wird, hängt von der Belastbarkeit Ihres Servers und vom Bedarf an Ihren Inhalten ab.
Kann ich Google dafür bezahlen, häufiger zu crawlen?
Nein. Google nimmt nach eigener Aussage kein Geld dafür, eine Website häufiger zu crawlen oder besser zu platzieren. Beeinflussen können Sie die Technik: schnelle Antworten, interne Links und eine gepflegte Sitemap.
Woran erkenne ich, dass wirklich der Googlebot zugreift?
Am User-Agent allein nicht, denn der lässt sich fälschen. Google empfiehlt einen umgekehrten DNS-Lookup der IP-Adresse oder den Abgleich mit den veröffentlichten IP-Bereichen.
Muss ich mich als kleine Website um das Crawling-Budget kümmern?
Meist nicht. Google richtet seinen Leitfaden an Websites mit sehr vielen Seiten oder sehr häufigen Änderungen. Für kleinere Websites sind saubere Links und fehlerfreie Serverantworten wichtiger.
Was passiert, wenn meine robots.txt nicht erreichbar ist?
Bei einem Serverfehler stellt Google das Crawling in den ersten 12 Stunden ein und nutzt danach bis zu 30 Tage die letzte fehlerfreie Fassung. Ein 404 auf die robots.txt behandelt Google dagegen so, als gäbe es keine Einschränkungen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
