Ein Crawler ruft eine Website so ab, wie es eine Suchmaschine tut: Er folgt den Links von Seite zu Seite und hält fest, was er findet. Statuscodes, Weiterleitungen, Titel, Canonicals, interne Links und Klicktiefe landen in einer Liste, die sich sortieren und filtern lässt. Für die technische Suchmaschinenoptimierung ist das die wichtigste Arbeitsgrundlage. Dieser Vergleich stellt fünf Werkzeuge nach belegten Merkmalen aus den Herstellerangaben nebeneinander, Stand 31.10.2026. Eigene Messungen oder Punktwertungen enthält er nicht, Einordnungen sind als Einschätzung von SEO NW gekennzeichnet.
Worauf es beim Vergleich ankommt
Vier Merkmale trennen die Werkzeuge im Alltag. Erstens die Betriebsart: Ein Desktop-Programm läuft auf Ihrem Rechner und nutzt dessen Arbeitsspeicher, ein Cloud-Dienst läuft auf den Servern des Anbieters und ist im Browser erreichbar. Zweitens die Grenze der kostenlosen Nutzung. Drittens die Ausführung von JavaScript, denn Google verarbeitet JavaScript-Webanwendungen in drei Phasen, Crawling, Rendering und Indexierung [1]. Ein Crawler, der nur den HTML-Quelltext liest, sieht bei solchen Websites weniger als Google. Viertens der Zweck: ein einmaliges Audit, wiederkehrende Prüfungen oder die Überwachung großer Websites.
| Werkzeug | Betriebsart | Kostenlos laut Hersteller | JavaScript | Besonderheit laut Hersteller |
|---|---|---|---|---|
| Screaming Frog SEO Spider | Programm für Windows, macOS und Linux | bis 500 Adressen je Crawl | laut Produktseite ja, mit integriertem Chromium; ob in der kostenlosen Version, nennt die Seite widersprüchlich | prüft auf über 300 SEO-Probleme |
| Sitebulb | Desktop und Cloud | 14 Tage Testzeitraum | ja, ohne Aufpreis | priorisierte Hinweise mit Erklärung |
| Lumar | Cloud | nicht beschrieben | nicht geprüft | auch Barrierefreiheit, Ladezeit, Qualitätstests vor Livegang |
| Ahrefs Site Audit | Cloud | 5.000 Crawl-Credits je bestätigtem Projekt und Monat | nicht geprüft | über 170 technische und Onpage-Probleme |
| Bing Site Scan | Cloud, in den Bing Webmaster Tools | ja | nicht geprüft | defekte Links, doppelte Tags, fehlende Metadaten |
"Nicht geprüft" heißt, dass die geöffneten Herstellerseiten dazu keine Angabe machen. Das Merkmal kann trotzdem vorhanden sein.
Screaming Frog SEO Spider
Der SEO Spider von Screaming Frog prüft laut Hersteller auf über 300 SEO-Probleme und läuft unter Windows, macOS und Linux [2]. Die kostenlose Version ist auf 500 Adressen in einem Crawl begrenzt [2]. Für JavaScript-lastige Websites rendert er Seiten mit einem integrierten Chromium [2]. Auf der Produktseite sind die Angaben zu weiteren Unterschieden zwischen kostenloser und bezahlter Version nicht einheitlich, eindeutig belegt ist nur die Grenze von 500 Adressen. Prüfen Sie den genauen Umfang vor dem Kauf deshalb auf der Seite des Herstellers.
Als Desktop-Programm hängt die Leistung am eigenen Rechner, bei sehr großen Websites setzt dessen Speicher die Grenze. Wie Sie einen Crawl einrichten und auswerten, beschreibt der Ratgeber Crawling mit Screaming Frog auswerten, das Werkzeug selbst stellt der Beitrag Screaming Frog im Überblick vor.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Sitebulb
Sitebulb gibt es als Desktop-Version und als Sitebulb Cloud, die laut Hersteller den vollen Funktionsumfang der Desktop-Version im Browser bietet [3]. Kennzeichen sind priorisierte Hinweise, die Hersteller "Hints" nennt, jeweils mit einer eingebauten Erklärung, dazu anpassbare PDF-Berichte [3]. JavaScript-Crawling kostet laut Sitebulb nichts extra [3]. Zum Kennenlernen gibt es einen voll ausgestatteten Testzeitraum von 14 Tagen ohne Kreditkarte [3]. Wie sich Sitebulb und Screaming Frog im Einzelnen unterscheiden, zeigt der Vergleich Screaming Frog oder Sitebulb.
Lumar
Lumar, früher Deepcrawl, beschreibt sich als cloudbasierte Plattform zur Website-Optimierung für große Unternehmen [4]. Neben der technischen SEO deckt sie laut Hersteller Barrierefreiheit und WCAG-Konformität, Ladezeiten und die Überwachung von Kennzahlen ab [4]. Ein eigenes Modul namens Protect automatisiert Qualitätstests, damit neue Fehler gar nicht erst auf die Live-Website gelangen [4]. Damit zielt Lumar eher auf Teams, die große Websites laufend betreuen, als auf ein einzelnes Audit.
Kostenlose Prüfungen für die eigene Website
Zwei Crawler gibt es ohne Lizenz, beschränkt auf die eigene, bestätigte Website. Der Site Audit in den Ahrefs Webmaster Tools prüft laut Ahrefs auf über 170 typische technische und Onpage-Probleme und bietet je bestätigtem Projekt 5.000 Crawl-Credits im Monat, verbraucht nur für HTML-Seiten mit Statuscode 200 [5]. Der Site Scan in den Bing Webmaster Tools sucht nach defekten Links, doppelten Tags und fehlenden Metadaten [6].
Für eine kleine Website reicht einer dieser Dienste oft für einen ersten Überblick. Nach unserer Erfahrung stoßen sie an Grenzen, sobald Sie Daten frei kombinieren wollen, etwa eigene Felder aus dem Quelltext auslesen oder einen Crawl mit einer Liste von Adressen aus der Search Console abgleichen. Dafür ist ein Desktop-Crawler flexibler.
Was jeder Crawler können sollte
Unabhängig vom Anbieter gibt es Prüfungen, die in keinem Werkzeug fehlen sollten. Wenn Sie ein Werkzeug testen, gehen Sie diese Liste mit einer bekannten Website durch und sehen nach, ob alle Punkte sauber erscheinen:
- Statuscodes aller gefundenen Adressen, getrennt nach Weiterleitungen, Client-Fehlern und Server-Fehlern
- Weiterleitungsketten mit Start- und Zieladresse
- Canonical-Angaben und Meta-Robots-Anweisungen je Seite, dazu die Regeln der robots.txt
- doppelte oder fehlende Titel und Beschreibungen
- Klicktiefe ab der Startseite und interne Links je Seite
- ein Abgleich mit der XML-Sitemap, damit Seiten auffallen, die in der Sitemap stehen, aber intern nicht verlinkt sind
Ebenso wichtig ist, wie schonend ein Werkzeug crawlt. Ein Crawler, der zu viele Anfragen auf einmal stellt, kann einen kleinen Server spürbar ausbremsen. Gute Werkzeuge erlauben, Geschwindigkeit und gleichzeitige Verbindungen zu begrenzen. Stimmen Sie größere Crawls auf fremden oder produktiven Websites deshalb vorher mit dem Betreiber ab und wählen Sie eine ruhige Tageszeit.
Auch der Export zählt. Befunde, die nur in der Oberfläche des Werkzeugs stehen, lassen sich schlecht an Entwickler weitergeben. Ein Export als Tabelle mit allen Spalten macht aus dem Crawl eine Aufgabenliste, die jeder im Team lesen kann.
Welcher Crawler zu welcher Website passt
Die folgende Zuordnung ist eine Einschätzung von SEO NW und kein Testergebnis.
- Kleine Websites bis einige hundert Adressen: die kostenlose Version von Screaming Frog oder einer der kostenlosen Cloud-Dienste.
- Mittelgroße Websites und regelmäßige Audits für Kunden: ein Desktop-Crawler mit Lizenz, je nach Vorliebe Screaming Frog oder Sitebulb.
- Sehr große Websites mit Teams, die laufend Änderungen ausspielen: eine Cloud-Plattform wie Lumar oder Sitebulb Cloud, die ohne eigenen Rechner im Hintergrund läuft.
Unabhängig vom Werkzeug ersetzt ein Crawler nicht den Blick in die Daten der Suchmaschine. Was Google tatsächlich abruft, zeigen die Crawling-Statistiken der Search Console und die Server-Logs. Mehr dazu steht in den Beiträgen Log-File-Analyse-Tools und Crawling-Statistiken der Search Console lesen. Den Begriff erklärt das Glossar unter Crawler.
Sie haben einen Crawl gemacht und wissen nicht, welche der vielen Befunde wirklich zählen? Bringen Sie den Export in die gratis SEO-Sprechstunde mit. Eine vollständige technische Prüfung übernehmen wir im Rahmen unseres technischen SEO.
- Organisation Grundlagen der JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
- Organisation SEO Spider. Screaming Frog. Stand 2026, Version 24.3. abgerufen am 31.10.2026
- Organisation Sitebulb (Startseite). Sitebulb. Stand 2026. abgerufen am 31.10.2026
- Organisation Lumar (Startseite). Lumar. Stand 2026. abgerufen am 31.10.2026
- Organisation Ahrefs Webmaster Tools. Ahrefs. Stand 2026. abgerufen am 31.10.2026
- Organisation Start Using Bing Webmaster Tools to Improve Your Site Visibility. Microsoft Bing Webmaster Blog. Stand 17.06.2025. abgerufen am 31.10.2026
Häufige Fragen
Welcher SEO-Crawler ist kostenlos?
Screaming Frog ist in der kostenlosen Version auf 500 Adressen je Crawl begrenzt. Für eigene, bestätigte Websites prüfen außerdem der Site Audit der Ahrefs Webmaster Tools und der Site Scan der Bing Webmaster Tools ohne Lizenz.
Was ist der Unterschied zwischen Desktop- und Cloud-Crawler?
Ein Desktop-Crawler läuft auf Ihrem Rechner und nutzt dessen Speicher. Ein Cloud-Crawler läuft beim Anbieter, ist im Browser erreichbar und kann Prüfungen ohne eigenen Rechner im Hintergrund ausführen.
Brauche ich JavaScript-Rendering?
Wenn Inhalte oder Links Ihrer Website erst per JavaScript entstehen, ja. Google rendert solche Seiten, ein Crawler ohne Rendering sieht dann weniger als Google.
Ersetzt ein Crawler die Search Console?
Nein. Ein Crawler zeigt, was auf der Website technisch vorhanden ist. Was Google tatsächlich abruft und indexiert, zeigen die Search Console und die Server-Logs.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
