Die Search Console zeigt, was Google über Ihre Website berichtet. Das Zugriffsprotokoll des Webservers zeigt, was tatsächlich passiert ist: jede einzelne Anfrage mit Uhrzeit, Adresse, Statuscode und Absender. Eine Logfile-Analyse für SEO nutzt diese Rohdaten, um das Crawling einer Website zu verstehen. Sie lohnt sich vor allem bei Shops, Portalen und großen Verzeichnissen, bei einem Relaunch und immer dann, wenn neue Seiten lange nicht im Index ankommen.
Die kurze Definition steht im Glossar unter Logfile-Analyse. Wie Sie einzelne Zugriffe als echten Googlebot bestätigen, beschreibt der Ratgeber Googlebot-Anfragen prüfen, und für Bots von KI-Diensten gibt es den eigenen Ratgeber KI-Crawler im Server-Log erkennen. Diese Seite behandelt die Auswertung selbst: welche Fragen Sie an die Daten stellen und wie Sie die Antworten lesen.
Was in einer Zeile steht
Die meisten Webserver schreiben ihr Zugriffsprotokoll im sogenannten Combined Log Format oder in einer Variante davon. Die Dokumentation des Apache-Webservers beschreibt es als Common Log Format mit zwei zusätzlichen Feldern, dem Referer und dem User-Agent [1]. Das Beispiel aus der Apache-Dokumentation sieht so aus [1]:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"
Von links nach rechts stehen dort die IP-Adresse des Absenders, zwei Felder für Identität und angemeldeten Benutzer (im Beispiel ein Bindestrich und frank), Zeitpunkt, Anfragezeile mit Methode und Pfad, Statuscode, übertragene Bytes, die verweisende Seite und die Selbstauskunft des Programms, das die Anfrage stellt. Nginx schreibt ohne eigene Einstellung dasselbe Format, die vordefinierte Vorlage heißt dort ebenfalls "combined" [2]. Wer mehr braucht, kann zusätzliche Felder aufnehmen. Nginx bietet zum Beispiel die Variable $request_time, die Bearbeitungszeit einer Anfrage in Sekunden mit Millisekunden-Auflösung [2]. Damit sehen Sie, welche Adressen den Server bremsen, während der Googlebot sie abruft.
Für SEO zählen vor allem Pfad, Statuscode, Zeitpunkt und User-Agent. Der Referer ist bei Crawlern meist leer und spielt kaum eine Rolle.
Vorbereitung: Daten sammeln und Googlebot herausfiltern
Klären Sie zuerst, wie lange Ihr Hoster oder Ihr Server die Protokolle aufbewahrt. Viele Systeme rotieren die Dateien regelmäßig, und die Apache-Dokumentation rät, die automatische Rotation von Anfang an einzurichten, weil die Dateien schon auf mäßig besuchten Servern schnell wachsen [1]. Für eine aussagekräftige Auswertung brauchen Sie mehrere Wochen am Stück. Läuft die Website hinter einem CDN oder auf mehreren Servern, müssen Sie die Protokolle aller Knoten zusammenführen, sonst fehlt ein Teil der Zugriffe.
Danach trennen Sie echte Suchmaschinenzugriffe vom Rest. Den Namen "Googlebot" im User-Agent kann jeder Absender eintragen. Google beschreibt deshalb zwei Wege zur Prüfung: einen umgekehrten DNS-Lookup der IP-Adresse aus den Protokollen, bei dem der Hostname auf googlebot.com, google.com oder googleusercontent.com enden muss, gefolgt von einem Vorwärts-Lookup, der wieder dieselbe IP-Adresse ergeben muss [3]. Für große Datenmengen veröffentlicht Google die IP-Bereiche seiner Crawler als JSON-Dateien, etwa common-crawlers.json [3]. Ein Abgleich gegen diese Listen lässt sich gut automatisieren.
Unterscheiden Sie anschließend die beiden Googlebot-Typen. Laut Google steht der Untertyp im User-Agent der Anfrage, und weil die meisten Websites hauptsächlich in ihrer mobilen Version indexiert werden, kommt der größere Teil der Anfragen vom Googlebot für Smartphones [4]. Sehen Sie überwiegend Desktop-Zugriffe, lohnt ein Blick in die Einstellungen der Search Console und auf die mobile Fassung der Seiten.
Die Protokolle enthalten IP-Adressen und damit Daten über Ihre Besucher. Arbeiten Sie für die Auswertung nur mit den gefilterten Bot-Zeilen und klären Sie Aufbewahrung und Zugriff vorab mit der Stelle, die bei Ihnen für den Datenschutz zuständig ist.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Fünf Fragen an die Daten
Ein Log ohne Frage ergibt nur eine lange Liste. Diese Fragen haben sich bewährt, weil jede zu einer konkreten Maßnahme führt.
Wohin geht das Crawling?
Gruppieren Sie die Googlebot-Anfragen nach dem ersten Verzeichnis im Pfad, also etwa /produkte/, /blog/, /suche/. Vergleichen Sie die Verteilung mit der Bedeutung der Bereiche für Ihr Geschäft. Holt sich der Googlebot einen Großteil seiner Anfragen aus der internen Suche oder aus einem Archiv, das niemand braucht, haben Sie den ersten Ansatzpunkt gefunden.
Wie viele Anfragen tragen Parameter?
Zählen Sie Anfragen mit Fragezeichen im Pfad und schlüsseln Sie sie nach Parameternamen auf. Sortierung, Filter, Sitzungskennungen und Tracking-Zusätze erzeugen oft tausende Varianten derselben Seite. Wie Sie solche Adressen in den Griff bekommen, zeigen die Ratgeber Facettierte Navigation steuern und Sortierung und Anzeigeanzahl.
Welche Statuscodes bekommt der Googlebot?
Google beschreibt, dass Serverfehler mit 5xx-Codes und der Code 429 dazu führen, dass die Crawler das Crawling vorübergehend verlangsamen [5]. Häufen sich solche Antworten zu bestimmten Uhrzeiten, liegt oft ein Lastproblem vor, etwa durch nächtliche Sicherungen. 4xx-Codes außer 429 haben laut Google keine Auswirkung auf die Crawling-Frequenz [5], zeigen aber, wo interne Links oder alte Adressen ins Leere führen. Bei Weiterleitungen folgt der Googlebot in der Regel bis zu zehn Weiterleitungen hintereinander [5]. Ketten aus drei oder vier Sprüngen tauchen im Log als Folge von Anfragen in kurzem Abstand auf.
Werden wichtige Seiten überhaupt besucht?
Gleichen Sie die Liste der Adressen aus Ihrer Sitemap mit den gecrawlten Adressen ab. Seiten, die der Googlebot im ganzen Zeitraum nie abgerufen hat, sind meist schlecht intern verlinkt. Umgekehrt finden Sie Adressen, die gecrawlt werden, aber in keiner Sitemap und keiner Navigation mehr stehen: alte Kampagnenseiten, gelöschte Produkte, Testverzeichnisse.
Wie schnell kommen Änderungen an?
Prüfen Sie, wann der Googlebot eine neue oder geänderte Seite zum ersten Mal abgerufen hat. Liegen zwischen Veröffentlichung und erstem Abruf regelmäßig viele Tage, hilft eine aktuelle Sitemap mit lastmod-Angabe, die Google bei aktualisierten Inhalten empfiehlt [7], und eine bessere Verlinkung von der Startseite oder aus Übersichtsseiten.
Log und Search Console zusammen lesen
Der Bericht "Crawling-Statistik" in der Search Console liefert eine Zusammenfassung derselben Vorgänge. Er schlüsselt die Anfragen nach Antwort, Dateityp, Zweck und Googlebot-Typ auf [6]. Die Beispiel-Adressen dort sind laut Google aber nur ein Ausschnitt und keine vollständige Liste [6]. Der Bericht richtet sich an fortgeschrittene Nutzer und wird bei Websites mit weniger als 1.000 Seiten meist nicht gebraucht [6]. Das Log hat jede Anfrage, die Ihr Server bekommen hat, auch von anderen Suchmaschinen.
Wir empfehlen, mit dem Bericht anzufangen und das Log dann gezielt zu befragen, wenn der Bericht eine Auffälligkeit zeigt: einen Anstieg der Serverfehler, viele Anfragen zur Erkennung neuer Adressen ohne neue Inhalte oder eine sinkende Zahl von Anfragen. Wie Sie den Bericht lesen, erklärt der Ratgeber Crawling-Statistiken der Search Console lesen.
Von der Auswertung zur Maßnahme
Die Ergebnisse führen fast immer zu einer der folgenden Aufgaben: Parameter- und Filteradressen begrenzen, Weiterleitungsketten auflösen, Fehlerquellen am Server beheben, verwaiste Seiten verlinken oder entfernen und die Sitemap aufräumen. Für große Websites beschreibt Google, wie Sie das URL-Inventar verwalten und das Laden der Seiten beschleunigen. Die Anleitung richtet sich an große Websites mit mehr als einer Million Seiten, deren Inhalt sich etwa einmal pro Woche ändert, und an mittelgroße Websites mit mehr als 10.000 Seiten, deren Inhalt sich täglich ändert [7]. Was davon für Sie zählt, fasst der Ratgeber Crawl-Budget optimieren zusammen.
Wiederholen Sie die Auswertung nach jeder Änderung mit demselben Zeitraum und denselben Filtern. Nur so sehen Sie, ob der Anteil der Anfragen auf unwichtige Adressen wirklich sinkt. Nach unserer Erfahrung zeigt der zweite Durchlauf mehr als der erste, weil erst dann sichtbar wird, ob Google die Änderung angenommen hat. Wenn Sie die Auswertung lieber abgeben möchten, gehört sie zur Leistung Technisches SEO.
Sie haben ein Protokoll vor sich und wissen nicht, wo Sie anfangen sollen? Bringen Sie Ihre Frage in die gratis Sprechstunde mit. Dort können Sie fragen, welche Auswertung zu Ihrer Website passt.
- Organisation Log Files (Apache HTTP Server Version 2.4 Documentation). The Apache Software Foundation. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Module ngx_http_log_module. nginx. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Search Central. Stand 25.03.2026. abgerufen am 31.10.2026
- Organisation Googlebot. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
- Organisation Wie sich HTTP-Statuscodes sowie Netzwerk- und DNS-Fehler auf die Google Suche auswirken. Google Search Central. Stand 06.03.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik". Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Crawling-Budget optimieren. Google Crawling-Infrastruktur. Stand 16.09.2026. abgerufen am 31.10.2026
Häufige Fragen
Was ist eine Logfile-Analyse im SEO?
Sie werten die Zugriffsprotokolle Ihres Webservers aus und sehen, welche Adressen Suchmaschinen tatsächlich abrufen. Daraus lesen Sie ab, wohin das Crawling fließt, welche Fehler auftreten und welche wichtigen Seiten selten besucht werden.
Woher bekomme ich die Server-Logs?
Bei eigenem Webspace liegen sie meist in einem Ordner für Protokolle oder im Verwaltungsbereich des Hosters. Fragen Sie nach, wie lange die Dateien aufbewahrt werden, denn viele Systeme löschen alte Protokolle nach kurzer Zeit.
Reicht nicht die Crawling-Statistik der Search Console?
Für kleinere Websites oft schon. Der Bericht zeigt laut Google aber nur Beispiel-Adressen und keine vollständige Liste. Wer einzelne Adressen, Parameter oder Uhrzeiten genau untersuchen will, braucht das Log.
Wie erkenne ich, ob ein Zugriff wirklich vom Googlebot stammt?
Über einen umgekehrten DNS-Lookup der IP-Adresse und einen anschließenden Vorwärts-Lookup oder über den Abgleich mit den IP-Listen, die Google veröffentlicht. Der Name im User-Agent allein beweist nichts.
Wie lange sollte der ausgewertete Zeitraum sein?
Mehrere Wochen am Stück, damit Wochentage und seltene Abrufe enthalten sind. Für einen Vorher-nachher-Vergleich nehmen Sie beide Male denselben Zeitraum und dieselben Filter.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
