In jedem Serverprotokoll tauchen Zugriffe auf, die sich als Googlebot ausgeben. Ein Teil davon ist echt, ein Teil nicht. Google weist selbst darauf hin, dass der vom Googlebot verwendete User-Agent oft von anderen Crawlern gefälscht wird [2]. Das ist aus zwei Richtungen ein Problem. Wer alles durchlässt, was "Googlebot" im User-Agent trägt, öffnet Scrapern die Tür. Wer zu hart filtert, sperrt womöglich den echten Googlebot aus und merkt es erst, wenn Seiten aus dem Index fallen. Dieser Ratgeber zeigt, wie Sie Googlebot-Anfragen prüfen, was die Crawling-Statistik der Search Console dazu verrät und wie Sie bei zu vielen Zugriffen reagieren.
Wann sich die Prüfung lohnt
Bei den meisten Websites müssen Sie sich um den Googlebot nicht kümmern. Google schreibt, dass der Googlebot in den meisten Fällen im Durchschnitt nur einmal alle paar Sekunden auf eine Website zugreift [2]. Anlass zur Prüfung gibt es in drei Lagen. Die erste ist eine auffällige Last: Der Server ist langsam, und im Protokoll stehen Tausende Zugriffe mit Googlebot-Kennung. Die zweite ist eine Firewall oder ein Bot-Schutz, der Anfragen blockiert und dabei echte Suchmaschinen treffen könnte. Die dritte sind Auswertungen von Server-Logs für die Suchmaschinenoptimierung, die nur dann aussagekräftig sind, wenn die gezählten Zugriffe wirklich von Google stammen. Wie eine solche Auswertung aufgebaut ist, beschreibt der Ratgeber Server-Logs auswerten.
Google fasst es so zusammen: "Es ist wichtig, zu prüfen, ob eine problematische Anfrage tatsächlich vom Googlebot stammt." [2] Für die Prüfung bietet Google zwei Wege an.
Weg 1: Prüfung per DNS-Abfrage
Für die manuelle Prüfung nennt Google den Befehl host auf der Kommandozeile und beschreibt vier Schritte [1]:
- Für die zugreifende IP-Adresse aus Ihren Protokollen führen Sie einen umgekehrten DNS-Lookup aus, zum Beispiel mit host 66.249.66.1.
- Sie prüfen, ob der gefundene Domainname auf googlebot.com, google.com oder googleusercontent.com lautet.
- Für diesen Domainnamen führen Sie einen vorwärtsgerichteten DNS-Lookup aus.
- Sie bestätigen, dass dabei die ursprüngliche Zugriffs-IP-Adresse aus Ihren Protokollen herauskommt.
Alle vier Schritte gehören zusammen. Erst wenn der Vorwärts-Lookup des gefundenen Namens wieder auf die ursprüngliche Adresse führt, ist die Prüfung abgeschlossen. Ein Name, der nur nach Google aussieht, reicht dafür nicht.
Welche Namen Sie erwarten können, hängt vom Typ des Crawlers ab. Google ordnet seine Crawler in drei Gruppen mit eigenen Namensmustern [1]. Die gängigen Crawler wie der Googlebot lösen auf Namen der Form crawl-***-***-***-***.googlebot.com oder geo-crawl-***-***-***-***.geo.googlebot.com auf. Sonderfall-Crawler wie AdsBot verwenden rate-limited-proxy-***-***-***-***.google.com. Vom Nutzer ausgelöste Abrufe enden auf gae.googleusercontent.com oder haben die Form google-proxy-***-***-***-***.google.com.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Weg 2: Abgleich mit Googles IP-Listen
Der DNS-Weg eignet sich für einmalige Prüfungen. Bei umfangreichen Suchvorgängen empfiehlt Google eine automatische Lösung [1]. Google veröffentlicht deshalb die IP-Bereiche seiner Crawler als JSON-Dateien, die Adressen stehen im CIDR-Format [1]. Für den Googlebot ist die Datei common-crawlers.json maßgeblich. Daneben gibt es special-crawlers.json für Sonderfall-Crawler sowie user-triggered-fetchers.json, user-triggered-fetchers-google.json und user-triggered-agents.json für Abrufe, die Nutzer auslösen [1]. Alle liegen unter developers.google.com/static/crawling/ipranges/.
Ein Skript, das diese Dateien regelmäßig lädt und eingehende Adressen dagegen prüft, ist schnell geschrieben. Laden Sie die Dateien regelmäßig neu, damit neue Bereiche nicht fehlen. Wenn Sie eine Firewall oder einen Bot-Filter einsetzen, sehen Sie in den Einstellungen nach, ob er Suchmaschinen per DNS oder IP-Liste erkennt oder nur am User-Agent.
Smartphone oder Computer
Der Googlebot tritt in zwei Formen auf: als Googlebot für Smartphones, ein mobiler Crawler, der einen Nutzer mit einem Mobilgerät simuliert, und als Googlebot für Computer [2]. Welcher der beiden anfragt, sehen Sie am User-Agent im Anfrage-Header [2]. Für die Prüfung der Echtheit spielt das keine Rolle, beide stammen aus denselben Adressbereichen der gängigen Crawler. Für die Auswertung ist die Unterscheidung aber nützlich. Kommen bei einer Website fast alle Zugriffe vom Smartphone-Crawler, entspricht das der mobilen Indexierung, über die der Ratgeber Mobile-First-Indexierung beachten mehr schreibt. Mit welchem Crawler Google eine einzelne Seite zuletzt abgerufen hat, zeigt das URL-Prüftool im Feld "Gecrawlt über" [6].
Was die Gruppen für robots.txt bedeuten
Die drei Gruppen verhalten sich unterschiedlich. Die gängigen Crawler, zu denen der Googlebot gehört, beachten immer die robots.txt [1]. Sonderfall-Crawler berücksichtigen sie teilweise nicht, vom Nutzer ausgelöste Abrufe ignorieren sie [1]. Ein Beispiel für die letzte Gruppe ist der Abruf für die Bestätigung der Inhaberschaft in der Search Console. Sehen Sie also eine echte Google-Adresse, die eine in der robots.txt gesperrte Seite abruft, ist das nicht automatisch ein Fehler. Prüfen Sie zuerst, zu welcher Gruppe die Adresse gehört.
Wer KI-Crawler anderer Anbieter steuern will, findet die Regeln für die robots.txt im Beitrag KI-Crawler in der robots.txt steuern.
Die Crawling-Statistik der Search Console
Die Search Console zeigt die Zugriffe des echten Googlebots aus Googles Sicht. Der Bericht heißt Crawling-Statistik und liegt unter den Einstellungen der Property [3]. Er ist nur für Properties auf Stammebene verfügbar, und Google schreibt: "Bei Websites mit weniger als 1.000 Seiten brauchen Sie den Bericht wahrscheinlich nicht zu verwenden." [3]
Der Bericht schlüsselt die Anfragen nach Antwort, Dateityp, Zweck und Googlebot-Typ auf [3]. Unter den Typen finden Sie etwa Smartphone, Computer, Bild, Video und "Laden der Seitenressource". Beim Zweck unterscheidet Google zwischen Erkennung, also Adressen, die Google noch nie gecrawlt hat, und Aktualisierung bereits bekannter Seiten [3]. Dazu kommt der Hoststatus mit den Bereichen robots.txt-Abruf, DNS-Auflösung und Serververbindung [3].
Der Vergleich mit dem eigenen Protokoll ist aufschlussreich. Zählt Ihr Log an einem Tag deutlich mehr Googlebot-Zugriffe als die Crawling-Statistik, kann das auf gefälschte Zugriffe hindeuten. Liegen beide Zahlen nah beieinander und der Server ist trotzdem überlastet, kommt die Last vermutlich von Google. Das ist eine Faustregel von SEO NW und keine Angabe von Google. Mehr zum Lesen des Berichts steht im Ratgeber Crawling-Statistiken der Search Console lesen.
Richtig reagieren
Gefälschte Zugriffe sperren Sie anhand der IP-Adresse oder des Adressbereichs, nie anhand des User-Agents. Eine Regel, die "Googlebot" im User-Agent blockiert, trifft den echten Googlebot genauso wie den Fälscher.
Belastet der echte Googlebot den Server zu sehr, gibt es einen vorübergehenden Weg. Google empfiehlt, auf Crawling-Anfragen den Status 500, 503 oder 429 statt 200 zurückzugeben, und rät, das nicht länger als ein bis zwei Tage zu tun [4]. Hält dieser Zustand länger an, wird die Adresse möglicherweise aus dem Google-Index entfernt [4]. Die Statuscodes 5xx und 429 sorgen dafür, dass Googles Crawler das Crawling vorübergehend verlangsamen [5]. Für ungewöhnlich hohe Crawling-Frequenzen bietet Google ein Formular, über das Sie das Problem melden können [4].
Auf Dauer hilft nur, die Ursache zu beheben. Nach unserer Erfahrung steckt hinter hoher Last durch den echten Googlebot fast immer ein Adressraum, der zu groß ist: Filterkombinationen, Kalender, Sitzungsparameter oder Suchergebnisseiten, die sich endlos verlinken. Der Ratgeber Crawl-Fallen erkennen zeigt, wie Sie solche Bereiche finden. Bei größeren Websites gehört das zur Leistung Indexierungsprobleme beheben. Die Kurzdefinition finden Sie im Glossar unter Googlebot.
Ihr Protokoll ist voller Zugriffe mit Googlebot-Kennung, und Sie wissen nicht, ob Sie sie sperren sollen? Bringen Sie einige Zeilen aus dem Log in die gratis Sprechstunde, dann schauen wir sie uns gemeinsam an.
- Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Search Central. Stand 25.03.2026. abgerufen am 31.10.2026
- Organisation Googlebot. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Crawling-Frequenz von Google verringern. Google Search Central. Stand 09.10.2026. abgerufen am 31.10.2026
- Organisation Wie sich HTTP-Statuscodes sowie Netzwerk- und DNS-Fehler auf die Google Suche auswirken. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation URL-Prüftool. Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
Häufige Fragen
Reicht der User-Agent, um den Googlebot zu erkennen?
Nein. Google weist selbst darauf hin, dass der User-Agent des Googlebots oft gefälscht wird. Sicher ist nur die Prüfung per DNS-Abfrage oder der Abgleich mit Googles IP-Listen.
Auf welche Domains muss der umgekehrte DNS-Lookup enden?
Auf googlebot.com, google.com oder googleusercontent.com. Danach muss der Vorwärts-Lookup des gefundenen Namens wieder die ursprüngliche IP-Adresse ergeben.
Welche IP-Liste gilt für den Googlebot?
Die Datei common-crawlers.json. Google veröffentlicht daneben eigene Listen für Sonderfall-Crawler und für Abrufe, die Nutzer auslösen.
Darf ich den Googlebot bei Überlastung bremsen?
Vorübergehend ja, mit den Statuscodes 500, 503 oder 429. Google rät, das nicht länger als ein bis zwei Tage zu tun, sonst können Adressen aus dem Index fallen.
Brauche ich den Bericht Crawling-Statistik für eine kleine Website?
Wahrscheinlich nicht. Google schreibt, dass Websites mit weniger als 1.000 Seiten den Bericht wahrscheinlich nicht brauchen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
