Stand: 31.10.2026. Wer in seinen Server-Logs nach den häufigsten Bots sucht, ist in den vergangenen Jahren oft auf Bytespider gestoßen. Der Crawler gehört zu ByteDance, dem Konzern hinter TikTok. Anders als bei OpenAI, Anthropic, Apple oder Amazon konnten wir für diesen Ratgeber keine Seite von ByteDance öffnen, die den Crawler, seine Zwecke und seine Regeln beschreibt. Was sich belegen lässt, stammt deshalb aus Messungen Dritter, vor allem von Cloudflare. Dieser Ratgeber trennt sauber zwischen dem, was belegt ist, und dem, was Sie selbst prüfen sollten, und zeigt die Wege zur Sperre.
Was über Bytespider bekannt ist
Cloudflare, einer der großen Anbieter für CDN und Schutz von Websites, hat Bytespider im Juli 2024 ausführlich beschrieben. Danach wird der Crawler von ByteDance betrieben, "the Chinese company that owns TikTok" [1]. Zum Zweck schreibt Cloudflare vorsichtig, er werde Berichten zufolge genutzt, um Trainingsdaten für die großen Sprachmodelle des Konzerns zu sammeln [1]. Eine Bestätigung des Betreibers dafür nennt der Beitrag nicht.
Belastbar sind dagegen Cloudflares eigene Messungen. Im Juli 2024 lag Bytespider bei der Zahl der Anfragen unter den KI-Bots auf Platz eins [1]. Nach Cloudflares Tabelle rief er 40,40 Prozent der Websites ab, die Cloudflare schützt. Zum Vergleich nannte Cloudflare für GPTBot 35,46 Prozent, für ClaudeBot 11,17 Prozent und für CCBot 2,14 Prozent [1]. Gewehrt haben sich damals nur wenige. Von den eine Million meistbesuchten Websites bei Cloudflare wurden im Juni 2024 rund 39 Prozent von KI-Bots abgerufen, aber nur 2,98 Prozent dieser Websites blockierten die Anfragen oder stellten sie auf die Probe [1]. Viele Kunden sperrten Bytespider auch in ihrer robots.txt nicht gezielt [1].
Wie sich das Bild seit 2024 verändert hat
Ein Jahr später sah es anders aus. In einer Auswertung vom Juli 2025 verglich Cloudflare die Monate Mai 2024 und Mai 2025. Der Anteil von Bytespider am reinen KI-Crawling fiel in dieser Zeit von 42 auf 7 Prozent, in der Rangliste der KI-Crawler rutschte er von Platz eins auf Platz fünf [2]. Unter den 20 größten Such- und KI-Crawlern sank sein Anteil von 22,8 auf 2,9 Prozent, die Zahl der Anfragen ging um 85 Prozent zurück [2].
| Messung von Cloudflare | Mai 2024 | Mai 2025 |
|---|---|---|
| Anteil am reinen KI-Crawling | 42 Prozent | 7 Prozent |
| Rang unter den KI-Crawlern | 1 | 5 |
| Anteil unter den 20 größten Such- und KI-Crawlern | 22,8 Prozent | 2,9 Prozent |
Warum der Anteil so stark gefallen ist, erklären die Zahlen allein nicht. Für Ihre Website zählt ohnehin das eigene Log. Es zeigt, ob Bytespider bei Ihnen noch nennenswert abruft und ob sich eine eigene Regel lohnt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Bytespider in der robots.txt sperren
Der einfachste Weg ist ein eigener Block in der robots.txt: "User-agent: Bytespider" und darunter "Disallow: /". Die Syntax folgt RFC 9309, der Norm für die Datei [3]. Die Norm hält aber auch fest, dass die Regeln keine Form der Zugriffsberechtigung sind [3]. Sie sind eine Bitte, deren Einhaltung vom Betreiber des Crawlers abhängt.
Ob Bytespider sich an diese Bitte hält, können wir ohne eine Dokumentation des Betreibers nicht belegen. Prüfen Sie es deshalb selbst: Tragen Sie die Regel ein, notieren Sie das Datum und schauen Sie nach einigen Tagen, ob im Log noch Abrufe mit dem Namen Bytespider auftauchen, die nicht die robots.txt betreffen. Bleiben die Abrufe aus, wirkt die Regel. Gehen sie weiter, brauchen Sie einen der beiden folgenden Wege.
Sperre im Server oder im CDN
Hält sich ein Crawler nicht an die robots.txt, bleibt die Sperre auf dem Server. Hier gilt allgemeine Serverpraxis ohne Herstellerquelle: Bei Apache oder nginx lässt sich eine Regel einrichten, die Anfragen mit "Bytespider" im User-agent mit dem Status 403 beantwortet. Das erledigt Ihr Hoster oder Ihr Administrator in wenigen Zeilen. Eine solche Regel greift unabhängig davon, ob der Crawler die robots.txt liest. Sie greift aber nur, solange sich der Bot ehrlich benennt.
Wer seine Website über Cloudflare ausliefert, hat einen weiteren Weg. Cloudflare bietet seit Juli 2024 einen Schalter, der KI-Bots, Scraper und Crawler mit einem Klick blockiert, und zwar ausdrücklich für alle Kunden, auch im kostenlosen Tarif [1]. Laut Cloudflare passt sich die Regel mit der Zeit an neue Merkmale störender Bots an [1]. Cloudflare erkennt Bots dabei nach eigenen Angaben über Merkmale des Datenverkehrs und ein Modell für maschinelles Lernen, sodass der User-agent für die Bewertung kaum eine Rolle spielt [1]. In der aktuellen Dokumentation ordnet Cloudflare KI-Bots nach ihrem Verhalten in die Gruppen Suche, Agent und Training ein [4].
Andere CDN- und Sicherheitsdienste haben ähnliche Funktionen. Prüfen Sie vor dem Einschalten, welche Bots ein solcher Schalter genau trifft. Eine Sammelregel gegen "KI-Bots" kann auch Suchcrawler wie OAI-SearchBot oder Claude-SearchBot erfassen, die Sie vielleicht zulassen möchten.
Die Sperre im Log prüfen
Für die Kontrolle reicht ein Blick in die Zugriffsprotokolle des Webservers. Filtern Sie nach dem Namen Bytespider und vergleichen Sie die Zahl der Abrufe vor und nach der Änderung. Nach einer Sperre im Server sollten verbleibende Anfragen mit dem Status 403 enden. Steigt gleichzeitig die Zahl ungewöhnlicher Abrufe ohne bekannten Namen, kann das auf getarnte Zugriffe hindeuten. Eine IP-Liste, mit der sich echte Zugriffe von ByteDance bestätigen ließen, haben wir nicht gefunden. Die Prüfung über Reverse-DNS oder veröffentlichte Adressbereiche, wie sie Apple, Amazon oder Common Crawl anbieten, entfällt hier also.
Wie Sie KI-Crawler im Log systematisch auswerten, beschreibt KI-Crawler im Server-Log erkennen, die Grundlagen der Logauswertung der Ratgeber Server-Logs auswerten.
Sperren oder nicht?
Bei Bytespider fällt die Abwägung für viele Websites leichter als bei anderen Bots. Ein dokumentierter Zweck für Suchfunktionen, wie ihn OpenAI für OAI-SearchBot oder Amazon für Amzn-SearchBot beschreiben, liegt uns für Bytespider nicht vor. Was eine Sperre an Sichtbarkeit kostet, lässt sich deshalb nicht belegen. Belegt ist, dass der Crawler zeitweise sehr viele Websites abgerufen hat [1]. Wer Serverlast sparen oder seine Texte aus Trainingsdaten heraushalten möchte, hat damit einen guten Grund für die Sperre.
Nach unserer Erfahrung genügt für die meisten Unternehmenswebsites die Regel in der robots.txt, ergänzt um eine Serverregel, falls das Log weiter Abrufe zeigt. Die Abwägung für alle KI-Crawler im Zusammenhang steht unter KI-Crawler blockieren oder zulassen, den Überblick über die großen Bots liefert die News KI-Crawler in der robots.txt steuern. Wie die Datei grundsätzlich aufgebaut ist, erklärt das Glossar unter robots.txt.
Sie sehen Bytespider in Ihrem Log und wissen nicht, ob eine Sperre wirkt? Stellen Sie die Frage in der gratis Sprechstunde.
- Organisation Declare your AIndependence: block AI bots, scrapers and crawlers with a single click. Cloudflare Blog. Stand 03.07.2024. abgerufen am 31.10.2026
- Organisation From Googlebot to GPTBot: who's crawling your site in 2025. Cloudflare Blog. Stand 01.07.2025. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF (Koster, Illyes, Zeller, Sassman). Stand 09.2022. abgerufen am 31.10.2026
- Organisation Bots (Abschnitt AI bots). Cloudflare Docs. Stand 01.07.2026. abgerufen am 31.10.2026
Häufige Fragen
Wem gehört Bytespider?
Laut Cloudflare wird Bytespider von ByteDance betrieben, dem chinesischen Unternehmen, dem TikTok gehört. Eine eigene Dokumentation des Betreibers konnten wir nicht abrufen.
Wie sperre ich Bytespider in der robots.txt?
Mit einem Block "User-agent: Bytespider" und darunter "Disallow: /". Prüfen Sie danach im Log, ob die Abrufe tatsächlich aufhören.
Was mache ich, wenn Bytespider die robots.txt ignoriert?
Dann hilft eine Regel im Webserver, die Anfragen mit diesem Namen im User-agent abweist, oder ein Schalter im CDN. Cloudflare bietet einen solchen Schalter gegen KI-Bots für alle Kunden an, auch im kostenlosen Tarif.
Ist Bytespider noch so aktiv wie 2024?
Nach Cloudflares Messung fiel sein Anteil am reinen KI-Crawling von Mai 2024 bis Mai 2025 von 42 auf 7 Prozent. Wie aktiv er auf Ihrer Website ist, zeigt Ihr eigenes Log.
Verliere ich Sichtbarkeit, wenn ich Bytespider sperre?
Ein dokumentierter Suchzweck liegt für Bytespider nicht vor, eine Einbuße lässt sich daher nicht belegen. Für die Google-Suche und die Suche in ChatGPT, Claude oder Perplexity sind andere Crawler zuständig.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
