Server-Logs zeigen, welche Adressen Suchmaschinen tatsächlich abrufen, wie oft und mit welcher Antwort. Wie Sie bei einer solchen Auswertung vorgehen und welche Fragen Sie an die Daten stellen, beschreibt der Ratgeber Logfile-Analyse für SEO. Diese Seite stellt die Werkzeuge vor, mit denen Sie die Arbeit erledigen, und vergleicht sie nach belegten Merkmalen. Die Funktionen stehen nach Angaben der Hersteller mit Abrufdatum. Wo wir einordnen, steht es als Einschätzung von SEO NW dabei.
Bevor Sie ein Werkzeug wählen
Vor dem Werkzeug steht die Frage nach dem Zugang. Viele Hosting-Pakete stellen die Zugriffsprotokolle nur für wenige Tage bereit oder gar nicht. Fragen Sie Ihren Anbieter, wo die Logs liegen, in welchem Format sie geschrieben werden und wie lange sie aufbewahrt werden. Läuft die Website hinter einem CDN, landen viele Abrufe gar nicht mehr auf dem Webserver. Dann brauchen Sie die Protokolle des CDN.
Zweitens enthalten Logs IP-Adressen und weitere Angaben über Besucher. Klären Sie mit Ihrer Datenschutzberatung, wie lange Sie sie speichern und wer sie auswerten darf. Für die SEO-Analyse reichen meist die Zeilen der Suchmaschinen-Crawler, die sich vor der Weitergabe herausfiltern lassen.
Ohne Logs: die Crawling-Statistik
Wer keinen Zugriff auf Logs hat, beginnt mit dem Bericht "Crawling-Statistik" der Search Console. Er zeigt statistische Daten zum Crawling von Google auf Ihrer Website [5]. Dazu gehören die Gesamtzahl der Crawling-Anfragen unabhängig vom Erfolg, die heruntergeladene Datenmenge und die durchschnittliche Reaktionszeit [5]. Aufgeschlüsselt wird nach Crawling-Antworten, gecrawlten Dateitypen, Crawling-Zweck und Googlebot-Typ [5]. Der Bericht steht nur für Properties auf Stammebene zur Verfügung [5].
Die Crawling-Statistik zeigt also Googles Sicht, aber nur für Google und nur zusammengefasst. Welche einzelne Adresse wie oft abgerufen wurde, sehen Sie dort nicht vollständig, und andere Suchmaschinen oder KI-Crawler fehlen ganz. Wie Sie den Bericht lesen, erklärt Crawling-Statistiken der Search Console lesen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Screaming Frog Log File Analyser
Der Log File Analyser von Screaming Frog ist auf SEO zugeschnitten. Sie laden Logdateien hoch, das Programm prüft Suchmaschinen- und KI-Bots, zeigt die abgerufenen Adressen und das Verhalten der Bots [1]. Es überprüft Bots wie den Googlebot automatisch und zeigt IP-Adressen, die sich nur als Suchmaschine ausgeben [1]. Außerdem listet es Statuscodes, defekte Links und Fehler, auf die Crawler gestoßen sind [1].
Eine Stärke für SEO ist der Abgleich mit einer Liste von Adressen. Importieren Sie etwa das Ergebnis eines Crawls, findet das Programm Seiten, die in den Logs auftauchen, aber nicht verlinkt sind, und umgekehrt [1]. Unterstützt werden das Apache-Format und das W3C Extended Log File Format, die Apache, IIS und NGINX abdecken, dazu das Format von Amazon Elastic Load Balancing [1]. Das Programm läuft unter Windows, macOS und Linux [1].
Die kostenlose Fassung wertet bis zu 1.000 Log-Ereignisse aus und speichert nur ein Projekt [1]. Für eine echte Analyse reicht das selten, schon eine kleine Website erzeugt an einem Tag mehr Zeilen. Die kostenpflichtige Lizenz hebt beide Grenzen auf [1]. Wer bereits mit dem SEO Spider von Screaming Frog crawlt, findet eine Vorstellung unter Screaming Frog im Überblick.
GoAccess als quelloffene Alternative
GoAccess ist ein quelloffener Log-Auswerter, der in Echtzeit arbeitet und im Terminal oder im Browser läuft [2]. Neben der Ausgabe im Terminal erstellt er einen vollständigen HTML-Bericht, dazu JSON und CSV [2]. Er liest viele Formate, unter anderem Apache, Nginx, Amazon S3, Elastic Load Balancing, CloudFront und Caddy [2]. Die Software steht unter der MIT-Lizenz [2].
GoAccess ist kein SEO-Werkzeug. Es prüft nicht, ob ein Googlebot echt ist, und kennt keinen Abgleich mit einem Crawl. Laut Hersteller hilft es aber, Scanner, Bots und verdächtigen Verkehr in den Logs zu erkennen [2]. Unsere Einschätzung: Für einen schnellen Überblick direkt auf dem Server, etwa nach einem Relaunch, ist GoAccess sehr praktisch. Für eine gründliche SEO-Auswertung exportieren Sie die gefilterten Zeilen besser in ein spezialisiertes Programm oder eine Tabelle.
Matomo Log Analytics
Matomo kann Berichte aus importierten Server-Logs erzeugen, ohne JavaScript-Code auf der Website [3]. Erkannt werden die meisten Formate, darunter Apache, Nginx und IIS [3]. Bots schließt Matomo standardmäßig aus den Berichten aus. Es gibt aber eine Option, sie zu erfassen und mit einer eigenen Variablen von menschlichen Besuchern zu trennen [3]. Damit lassen sich Crawler-Abrufe in den gewohnten Matomo-Berichten auswerten. Für tiefe SEO-Fragen wie verwaiste Seiten fehlen allerdings die spezialisierten Funktionen. Mehr zu Matomo steht unter Matomo im Überblick.
Die Werkzeuge im Vergleich
| Werkzeug | Art | Bot-Prüfung | Kosten laut Anbieter |
|---|---|---|---|
| Crawling-Statistik (Search Console) | Googles eigene Zahlen, ohne Logs | nur Google | kostenlos |
| Screaming Frog Log File Analyser | SEO-Programm für den Rechner | automatisch, mit Erkennung gefälschter Bots [1] | kostenlos bis 1.000 Ereignisse, sonst Lizenz [1] |
| GoAccess | allgemeiner Log-Auswerter | nicht vorgesehen | quelloffen, MIT-Lizenz [2] |
| Matomo Log Analytics | Webanalyse aus Logs | Bots optional erfassen [3] | Teil von Matomo |
Woran Sie die Wahl festmachen
Welches Werkzeug passt, entscheiden wenige Fragen. Wir gehen sie in dieser Reihenfolge durch:
- Datenmenge: Wie viele Zeilen erzeugt Ihre Website in dem Zeitraum, den Sie auswerten wollen? Bei Millionen Zeilen am Tag stoßen Programme für den eigenen Rechner an Grenzen.
- Format: Liegen die Logs im Format von Apache, Nginx oder IIS vor, oder kommen sie aus einem CDN mit eigenem Format?
- Zweck: Geht es um eine einmalige Prüfung nach einem Relaunch oder um eine laufende Beobachtung?
- Abgleich: Wollen Sie die Logs mit einem Crawl oder einer Sitemap vergleichen, um verwaiste Seiten zu finden?
- Bot-Prüfung: Muss das Werkzeug echte von gefälschten Crawlern trennen, oder erledigen Sie das vorher?
Für eine einmalige SEO-Prüfung mit Abgleich ist nach unserer Einschätzung ein spezialisiertes Programm am bequemsten. Für eine laufende Beobachtung auf dem Server eignet sich ein allgemeiner Auswerter, dessen Ergebnisse Sie regelmäßig sichten.
Echte Crawler erkennen
Gleich welches Werkzeug Sie nutzen: Die Kennung im User-Agent lässt sich fälschen. Google beschreibt zwei Wege zur Prüfung [4]. Für einzelne Fälle machen Sie einen umgekehrten DNS-Lookup der IP-Adresse und prüfen, ob der Name auf googlebot.com, google.com oder googleusercontent.com endet. Danach folgt ein normaler Lookup, der wieder zur selben IP führen muss [4]. Für große Mengen gleichen Sie die IP-Adressen automatisch mit den Listen ab, die Google als JSON-Dateien im CIDR-Format veröffentlicht [4]. Die Schritte im Einzelnen stehen unter Googlebot-Anfragen prüfen. Wie Sie KI-Crawler wie GPTBot oder ClaudeBot in den Logs finden, beschreibt KI-Crawler im Server-Log erkennen.
Nach unserer Erfahrung lohnt sich eine Logfile-Analyse vor allem bei großen Shops, bei Websites mit Filternavigation und nach Umzügen. Für eine Unternehmenswebsite mit wenigen hundert Seiten reicht oft die Crawling-Statistik. Den Begriff selbst erklärt das Glossar unter Logfile-Analyse.
Sie haben Logdateien, wissen aber nicht, welches Werkzeug zu Ihrer Datenmenge passt? Stellen Sie die Frage in der gratis Sprechstunde.
- Organisation Log File Analyser. Screaming Frog. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation GoAccess: Visual Web Log Analyzer. GoAccess. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Log Analytics. Matomo. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Googlebot und andere Google-Crawler überprüfen. Google Search Central. Stand 25.03.2026. abgerufen am 31.10.2026
- Organisation Bericht "Crawling-Statistik" (Search Console-Hilfe). Google. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Gibt es ein kostenloses Logfile-Analyse-Tool für SEO?
Der Log File Analyser von Screaming Frog ist bis 1.000 Log-Ereignisse kostenlos, GoAccess ist quelloffen. Ohne Logs zeigt die Crawling-Statistik der Search Console kostenlos Googles eigene Zahlen.
Wie erkenne ich einen gefälschten Googlebot?
Mit einem umgekehrten DNS-Lookup der IP-Adresse und einem anschließenden normalen Lookup, oder automatisch über die IP-Listen, die Google veröffentlicht. Der Name muss auf googlebot.com, google.com oder googleusercontent.com enden.
Kann Matomo Server-Logs auswerten?
Ja, mit Matomo Log Analytics. Bots sind standardmäßig ausgeschlossen, lassen sich aber optional erfassen und von Besuchern trennen.
Brauche ich eine Logfile-Analyse für eine kleine Website?
Oft nicht. Bei wenigen hundert Seiten reicht meist die Crawling-Statistik der Search Console. Logs lohnen sich vor allem bei großen Shops, Filternavigationen und nach Umzügen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
