Stand: 31.10.2026. Hinter dem Namen CCBot steht kein KI-Unternehmen. Der Crawler gehört Common Crawl, einer gemeinnützigen Organisation, die regelmäßig große Teile des Webs abruft und das Ergebnis kostenlos veröffentlicht. Für die KI-Suche ist das trotzdem wichtig, denn viele Sprachmodelle wurden zumindest teilweise mit diesen Daten trainiert. Dieser Ratgeber erklärt, was Common Crawl ist, wie groß das Archiv ist, wer es nutzt und was eine Sperre von CCBot für Ihre Website bedeutet.
Wer hinter Common Crawl steht
Common Crawl beschreibt sich als gemeinnützige Organisation nach US-Steuerrecht, also als 501(c)(3) non-profit, die eine Kopie des Internets für Forschung und Analyse bereitstellt [1]. Gegründet wurde sie 2007 von Gil Elbaz, Daten sammelt sie seit 2008 [2]. Das Archiv umfasst nach eigenen Angaben mehr als 10 Petabyte [2]. Die Organisation nennt ihren Datensatz ausdrücklich eine Stichprobe des Webs [1].
Die Daten liegen bei Amazon S3 und lassen sich herunterladen oder direkt dort verarbeiten [1]. Als Beispiele für die Nutzung nennt Common Crawl Sprachübersetzung und Trendanalysen. Die Organisation will die Daten mit möglichst wenigen Einschränkungen veröffentlichen, die Nutzungsbedingungen sollen vor allem missbräuchliche oder illegale Verwendung verhindern [1].
Wie oft CCBot crawlt
Common Crawl veröffentlicht etwa monatlich ein neues Archiv. Jeder dieser Crawls enthält nach Angabe der Organisation typischerweise mehr als zwei Milliarden Webseiten [2]. Das jüngste Archiv mit der Kennung CC-MAIN-2026-43 erschien am 21.10.2026. Es umfasst 2,16 Milliarden Seiten, gesammelt vom 05.10.2026 bis zum 18.10.2026, mit 371,19 TiB unkomprimiertem Inhalt [3].
Die Archive der vergangenen Monate liegen alle in derselben Größenordnung, wie die Ankündigungen im Blog von Common Crawl zeigen [8]:
| Archiv | Seiten | unkomprimierter Inhalt |
|---|---|---|
| Juli 2026 | 2,14 Milliarden | 364,01 TiB |
| August 2026 | 2,14 Milliarden | 360 TiB |
| September 2026 | 2,17 Milliarden | 361,4 TiB |
| Oktober 2026 | 2,16 Milliarden | 371,19 TiB |
Diese Zahlen zeigen, wie breit der Crawler arbeitet. Wie oft er eine einzelne Website besucht, sagt Common Crawl nicht, die Seite zu CCBot nennt keine feste Frequenz [4]. In den eigenen Logdateien sehen Sie am ehesten, wann CCBot zuletzt da war.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Warum Common Crawl für KI eine Rolle spielt
Die Daten sind für alle frei verfügbar, und deshalb greifen viele Entwickler von Sprachmodellen darauf zurück. Auf seiner Seite über die Organisation schreibt Common Crawl, die Daten gälten als "one of the most widely used sources of training data for large language models" [2]. Common Crawl verweist dort auch auf eine Untersuchung von Mozilla, nach der mindestens 64 Prozent von 47 untersuchten großen Sprachmodellen zumindest teilweise mit gefilterten Daten von Common Crawl trainiert wurden [2]. Dazu kommt die Forschung: Der Datensatz wurde laut Common Crawl in mehr als 12.000 wissenschaftlichen Arbeiten zitiert [2].
Für Website-Betreiber heißt das: Wer GPTBot, ClaudeBot und andere Trainingscrawler sperrt, CCBot aber offen lässt, kann trotzdem in Trainingsdaten landen, die über Common Crawl weitergegeben werden. Die Sperre eines einzelnen KI-Crawlers ändert nichts an Daten, die über das Archiv von Common Crawl verbreitet werden. Das ist nach unserer Einschätzung der Hauptgrund, warum CCBot in vielen Sperrlisten steht.
Wie verbreitet solche Sperren sind, hat Cloudflare im Juli 2025 ausgewertet. Von 3.816 Domains aus den 10.000 meistbesuchten mit einer robots.txt hatten 546 Regeln für KI-Bots, also rund 14 Prozent. Am häufigsten gesperrt war GPTBot mit 312 Domains, davon 250 vollständig und 62 teilweise. Danach folgten CCBot und Google-Extended [5]. Die große Mehrheit der Websites regelt KI-Crawler demnach gar nicht gesondert.
CCBot in der robots.txt sperren
Common Crawl beschreibt die Sperre selbst. Mit "User-agent: CCBot" und "Disallow: /" in der robots.txt hört der Crawler auf, die Website abzurufen [1, 4]. Teilsperren für einzelne Verzeichnisse folgen der allgemeinen Syntax der Datei nach RFC 9309 [6]. Wer etwa nur seine Fachartikel heraushalten möchte, schreibt unter "User-agent: CCBot" eine Zeile wie "Disallow: /ratgeber/" und lässt den Rest offen. Denken Sie an Subdomains: Die Datei liegt nach der Norm im obersten Pfad des jeweiligen Dienstes, ein Blog auf einer eigenen Subdomain braucht also eine eigene Regel [6]. Die Regel gilt für künftige Crawls. Ob Common Crawl Inhalte aus bereits veröffentlichten Archiven entfernt, steht weder auf der Seite zu CCBot noch in den häufigen Fragen [1, 4].
Für rechtliche Einwände gibt es einen zusätzlichen Weg. Im September 2025 hat Common Crawl sein Register für Widersprüche vorgestellt, das inzwischen Opt-Out Ledger heißt. Es veröffentlicht die rechtlichen Opt-out-Anfragen, die bei Common Crawl eingegangen sind, damit Nutzer des Archivs davon erfahren [7]. Die vollständige Liste ist im Beitrag als Tabelle verlinkt [7]. Gleichzeitig empfiehlt die Organisation Verlagen ausdrücklich, das Crawlen mit Standardmitteln wie der robots.txt zu steuern [7]. Für Fragen nennt der Beitrag die Adresse info@commoncrawl.org [7].
Echte CCBot-Zugriffe erkennen
Der Crawler meldet sich mit dem User-agent "CCBot/2.0" und einem Verweis auf die FAQ der Organisation [4]. Common Crawl warnt aber: "Please note that we are aware of crawlers falsely identifying themselves as CCBot" [4]. Ein Eintrag mit diesem Namen im Log beweist also noch nichts.
Zur Prüfung gibt es zwei Wege. CCBot läuft auf eigenen IP-Bereichen mit Reverse-DNS, außer bei IPv6, wo Reverse-DNS noch nicht unterstützt wird [4]. Ein Beispiel der Seite: Die Adresse 18.97.14.84 löst auf einen Namen unter crawl.commoncrawl.org auf [4]. Die IPv4- und IPv6-Bereiche veröffentlicht Common Crawl als JSON-Datei unter index.commoncrawl.org/ccbot.json [4]. Wie Sie Zugriffe dieser Art im Log auswerten, beschreibt KI-Crawler im Server-Log erkennen.
Sperren oder offen lassen?
Die Abwägung ist bei CCBot eine andere als bei Suchcrawlern. Eine Sperre kostet Sie keine Sichtbarkeit in einer Suchmaschine, denn Common Crawl betreibt keine. Dafür entfernen Sie Ihre Website aus einem Archiv, das auch Forschung, Übersetzung und Analysen dient. Wer seine Texte grundsätzlich aus KI-Trainingsdaten heraushalten möchte, kommt um eine Sperre von CCBot kaum herum. Wer das Training dagegen gelassen sieht, verliert durch eine offene Regel nichts Messbares.
Für Unternehmenswebsites raten wir, die Entscheidung bewusst und einheitlich zu treffen: entweder alle Trainingscrawler gemeinsam sperren, CCBot eingeschlossen, oder alle zulassen. Eine halbe Lösung ist selten das, was gemeint war. Nach unserer Erfahrung findet sich CCBot in vielen robots.txt-Dateien, die irgendwann aus einer Vorlage übernommen wurden, ohne dass jemand weiß, warum. Die Abwägung für alle KI-Crawler steht unter KI-Crawler blockieren oder zulassen, den Überblick über die großen Bots liefert die News KI-Crawler in der robots.txt steuern, und den Begriff erklärt das Glossar unter KI-Crawler.
Sie möchten wissen, welche Trainingscrawler Ihre robots.txt heute aussperrt und ob das zu Ihrem Ziel passt? Stellen Sie die Frage in der gratis Sprechstunde.
- Organisation Frequently Asked Questions. Common Crawl. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation About Common Crawl. Common Crawl. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation October 2026 Crawl Archive Now Available. Common Crawl. Stand 21.10.2026. abgerufen am 31.10.2026
- Organisation Common Crawl - CCBot. Common Crawl. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation From Googlebot to GPTBot: who's crawling your site in 2025. Cloudflare Blog. Stand 01.07.2025. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF (Koster, Illyes, Zeller, Sassman). Stand 09.2022. abgerufen am 31.10.2026
- Organisation Common Crawl Foundation Opt-Out Registry. Common Crawl. Stand 17.09.2025. abgerufen am 31.10.2026
- Organisation Common Crawl Blog (Ankündigungen der Crawl-Archive Juli bis Oktober 2026). Common Crawl. Stand laufend. abgerufen am 31.10.2026
Häufige Fragen
Ist CCBot ein Crawler von OpenAI oder Google?
Nein. CCBot gehört Common Crawl, einer gemeinnützigen Organisation, die ein frei zugängliches Archiv des Webs veröffentlicht. Viele Anbieter von Sprachmodellen nutzen dieses Archiv aber für das Training.
Wie sperre ich CCBot?
Mit einem Block "User-agent: CCBot" und darunter "Disallow: /" in der robots.txt. So beschreibt es Common Crawl selbst auf der Seite zum Crawler.
Werden meine Seiten aus alten Archiven gelöscht, wenn ich CCBot sperre?
Das sagen die Seiten von Common Crawl nicht. Die robots.txt regelt künftige Crawls. Für rechtliche Einwände gibt es das Opt-Out Ledger, Fragen beantwortet Common Crawl unter info@commoncrawl.org.
Verliere ich Sichtbarkeit in Suchmaschinen, wenn ich CCBot sperre?
Nein. Common Crawl betreibt keine Suchmaschine. Die Sperre betrifft nur die Aufnahme in künftige Archive von Common Crawl.
Wie erkenne ich, ob ein Zugriff wirklich von CCBot kommt?
Über Reverse-DNS, das für IPv4 auf Namen unter crawl.commoncrawl.org auflöst, oder über die IP-Liste unter index.commoncrawl.org/ccbot.json. Common Crawl warnt ausdrücklich vor Crawlern, die sich fälschlich als CCBot ausgeben.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
