Ein Crawl mit dem Screaming Frog SEO Spider liefert in kurzer Zeit zehntausende Zeilen. Der schwierige Teil kommt danach: Welche Befunde sind wichtig, welche sind Rauschen, und in welcher Reihenfolge arbeitet man sie ab? Dieser Ratgeber beschreibt einen Ablauf, den Sie auf jede Website anwenden können. Was das Programm ist und was die kostenlose Fassung kann, erklärt das Glossar unter Screaming Frog. Hier geht es um die Auswertung.
Vor dem Start: den Crawl richtig zuschneiden
Die meisten Fehlschlüsse entstehen, bevor der erste Abruf läuft. Drei Einstellungen sollten Sie bewusst setzen.
Erstens der Umfang. Im Spider-Modus geben Sie eine Startadresse ein, und das Programm folgt den Links. Andere Subdomains behandelt es dabei als externe Links. Wer Shop, Blog und Hauptseite auf verschiedenen Subdomains betreibt, stellt den Filter oben von "Subdomain" auf "All Subdomains" um [1]. Für eine feste Liste, etwa alle Adressen einer alten Sitemap vor einem Umzug, gibt es den List-Modus, in den Sie Adressen einfügen oder hochladen [1].
Zweitens die Sitemaps. Die Auswertung im Reiter Sitemaps funktioniert nur, wenn unter Configuration und Spider die Option "Crawl Linked XML Sitemaps" aktiv ist [2]. Ohne sie fehlt später der Vergleich zwischen dem, was Sie Google melden, und dem, was intern verlinkt ist.
Drittens die Search Console. Unter Configuration und API Access lässt sich die Google Search Console anbinden. Dann zeigt ein eigener Reiter, welche gecrawlten Adressen Klicks haben und welche Google laut Schnittstelle nicht indexiert hat [2]. Erst diese Verbindung macht aus einem technischen Crawl eine Auswertung, die Prioritäten setzen kann.
Das Programm hält sich standardmäßig an die robots.txt, und zwar nach eigener Angabe auf dieselbe Weise wie Google [1]. Das ist für die Auswertung erwünscht, denn Sie sehen die Website so, wie ein Suchmaschinen-Crawler sie sieht. Die kostenlose Fassung bricht nach 500 Adressen ab [3]. Für einen Shop mit Filterseiten reicht das selten.
Nach dem Crawl: die Crawl-Analyse starten
Einige Filter füllen sich erst nach der Crawl-Analyse am Ende des Durchlaufs. Das gilt für Teile des Reiters Sitemaps, für verwaiste Adressen aus der Search Console und für die Spalten zu fast gleichen Inhalten [2]. Wer die Analyse überspringt, findet dort leere Filter und hält die Website fälschlich für sauber.
Das Speichern von Crawls gehört nach Angabe des Herstellers zur Lizenzfassung [3]. Dort werden Crawls im Datenbankmodus während des Laufs automatisch gespeichert [1], sodass Sie einen Crawl später wieder öffnen und mit einem neuen vergleichen können, etwa vor und nach einem Relaunch.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Erste Runde: Statuscodes und Indexierbarkeit
Beginnen Sie im Reiter Response Codes. Die Filter dort heißen unter anderem "Blocked by Robots.txt", "Redirection (3XX)", "Redirect Chain", "Redirect Loop", "Client Error (4xx)" und "Server Error (5XX)" [2]. Interne Links auf Weiterleitungen und Fehlerseiten sind die einfachste Reparatur auf jeder Website. Über das Menü Bulk Export lassen sich die Quellen dieser Links gesammelt ausgeben [1], damit Sie nicht jede Adresse einzeln öffnen müssen.
Danach kommt die Spalte zur Indexierbarkeit. Sie nennt bei jeder nicht indexierbaren Adresse den Grund, zum Beispiel eine Kanonisierung auf eine andere Seite [2]. Sortieren Sie danach und fragen Sie bei jeder Gruppe: Soll das so sein? Hunderte kanonisierte Filterseiten können gewollt sein. Eine nicht indexierbare Kategorieseite ist fast immer ein Fehler.
Zweite Runde: Canonicals und Direktiven
Der Reiter Canonicals trennt sauber zwischen Adressen mit selbstreferenzierendem Canonical, kanonisierten Adressen und fehlenden Angaben. Für die Fehlersuche sind vor allem die Filter "Multiple Conflicting", "Non-Indexable Canonical", "Canonical Is Relative" und "Outside <head>" wichtig [2]. Google akzeptiert das Canonical-Element nur im head und rät zu absoluten Adressen [4]. Ein Canonical, das auf eine Seite mit noindex oder auf eine Weiterleitung zeigt, sendet widersprüchliche Signale. Google empfiehlt ausdrücklich, für dieselbe Seite keine unterschiedlichen kanonischen Adressen anzugeben [4]. Die Einzelheiten stehen im Ratgeber Canonical-Fehler finden.
Im Reiter Directives sehen Sie, wo noindex und nofollow stehen [2]. Gleichen Sie die Liste der noindex-Seiten mit der Sitemap ab. Eine Seite, die Sie Google zur Indexierung anbieten und gleichzeitig mit noindex versehen, ist ein klassischer Widerspruch. Der Reiter Sitemaps hat dafür den Filter "Non-Indexable URLs in Sitemap" [2].
Dritte Runde: Inhalte, Tiefe und verwaiste Seiten
Die Reiter Page Titles, Meta Description und H1 zeigen fehlende und doppelte Angaben [2]. Die Längenfilter wie "Over 60 characters" sind Schwellen des Programms. Google schreibt dazu: "Die Länge eines <title>-Elements ist nicht begrenzt", der Titellink in der Suche wird bei Bedarf gekürzt [5]. Wir arbeiten bei SEO NW mit einem Title bis 60 Zeichen und einer Beschreibung von 120 bis 160 Zeichen als Richtwert. Ein Treffer in diesen Filtern ist deshalb ein Hinweis zum Nachsehen.
Im Reiter Content finden Sie die Filter "Exact Duplicates" und "Near Duplicates". Fast gleiche Inhalte erkennt das Programm über einen Minhash-Vergleich mit einer voreingestellten Schwelle von 90 Prozent, die sich anpassen lässt. Die Option für fast gleiche Inhalte muss dafür aktiviert sein [2]. Treffer hier sind Kandidaten für den Ratgeber Duplicate Content vermeiden.
Zwei Spalten im Reiter Internal helfen bei der Struktur. Crawl Depth gibt an, wie viele Klicks eine Seite von der Startseite entfernt ist, wobei Weiterleitungen derzeit als eigene Ebene zählen. Inlinks zählt die internen Links auf eine Adresse [2]. Eine wichtige Seite mit großer Tiefe und wenigen Inlinks bekommt zu wenig interne Unterstützung.
Zum Schluss die verwaisten Seiten. Der Filter "Orphan URLs" im Reiter Sitemaps listet Adressen, die in der Sitemap stehen, beim Crawl aber über keinen internen Link gefunden wurden [2]. Der gleichnamige Filter im Reiter Search Console zeigt Adressen, die in den Suchdaten der Search Console auftauchen, beim Crawl aber über keinen internen Link gefunden wurden [2]. Gerade diese Seiten sind oft wertvoll und werden bei einem Relaunch leicht vergessen.
Aus Befunden eine Liste machen
Ein Crawl ist erst ausgewertet, wenn aus den Filtern Aufgaben werden. Ordnen Sie jeden Befund nach zwei Fragen: Wie viele wichtige Seiten betrifft er, und wie aufwendig ist die Behebung? Interne Links auf Weiterleitungen sind meist schnell erledigt, ein falsches Canonical in einer Vorlage betrifft oft alle Seiten eines Typs auf einmal. Nach unserer Erfahrung bringt die Reparatur an der Vorlage mehr als jede Einzelkorrektur.
Wiederholen Sie den Crawl nach den Änderungen mit denselben Einstellungen. In der Lizenzfassung lassen sich gespeicherte Durchläufe vergleichen [1]. Wie Screaming Frog sich gegen ein anderes Programm schlägt, zeigt der Vergleich Screaming Frog oder Sitebulb. Wenn Sie die Auswertung samt Maßnahmenliste lieber abgeben, ist das SEO-Audit von SEO NW der passende Weg.
Sie haben einen Crawl vor sich und wissen nicht, mit welchem Reiter Sie anfangen sollen? Stellen Sie die Frage in der gratis Sprechstunde und bringen Sie einen Export mit.
- Organisation SEO Spider User Guide: General. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation SEO Spider User Guide: Tabs. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation SEO Spider. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Doppelte URLs zusammenfassen (Kanonisierung). Google Search Central. Stand 15.07.2026. abgerufen am 31.10.2026
- Organisation Titellinks in Suchergebnissen beeinflussen. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
Häufige Fragen
Reicht die kostenlose Fassung von Screaming Frog?
Für kleine Websites oft. Sie bricht nach 500 Adressen ab. Bei Shops mit Filterseiten oder großen Portalen erreichen Sie diese Grenze schnell, und dann fehlen genau die Bereiche, in denen die meisten Probleme stecken.
Warum sind manche Filter nach dem Crawl leer?
Einige Filter füllen sich erst nach der Crawl-Analyse am Ende des Durchlaufs, andere brauchen vorher aktivierte Optionen wie das Crawlen verlinkter Sitemaps oder die Erkennung fast gleicher Inhalte.
Muss ich die robots.txt beim Crawl ignorieren?
Für die normale Auswertung nein. Das Programm hält sich standardmäßig an die robots.txt wie Google und zeigt Ihnen so die Sicht eines Suchmaschinen-Crawlers. Das Ignorieren ist nur in der bezahlten Fassung möglich und eher für Sonderfälle gedacht.
Wie oft sollte ich meine Website crawlen?
Mindestens vor und nach größeren Änderungen wie einem Relaunch, einem neuen Theme oder neuen Filtern. Mit der Lizenzfassung können Sie Crawls speichern und zwei Stände vergleichen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
