In manchen robots.txt-Dateien steht eine Zeile für "anthropic-ai", oft aus Listen kopiert. Wer heute verhindern will, dass Anthropic seine Inhalte für das Training von Claude verwendet, sollte diese Zeile prüfen. Die aktuelle Hilfeseite von Anthropic nennt einen anderen Namen: ClaudeBot. Dieser Ratgeber zeigt, was Anthropic über ClaudeBot schreibt, warum ein Eintrag für anthropic-ai allein nicht reicht und welche Möglichkeiten Sie außer der vollständigen Sperre haben.
ClaudeBot nach der Beschreibung von Anthropic
Anthropic beschreibt seine Crawler in einem Artikel der Claude-Hilfe, aktualisiert am 07.04.2026 [1]. Dort stehen drei Kennungen. ClaudeBot sammelt Webinhalte, die zum Training der Modelle beitragen können. Sperrt eine Website ClaudeBot, "it signals that the site's future materials should be excluded from our AI model training datasets" [1]. Die beiden anderen Kennungen, Claude-User und Claude-SearchBot, dienen Abrufen für Nutzerfragen und der Suche. Sie behandelt der Ratgeber Claude-User und Claude-SearchBot ausführlich.
Zum Umgang mit Regeln schreibt Anthropic, dass seine Bots "do not crawl"-Signale respektieren, indem sie "industry standard directives in robots.txt" befolgen [1]. Außerdem respektieren sie nach eigener Angabe Schutzmaßnahmen gegen Umgehung. Als Beispiel nennt der Artikel, dass Anthropic nicht versucht, CAPTCHAs der gecrawlten Websites zu umgehen [1].
Was aus anthropic-ai geworden ist
Der Name anthropic-ai kommt in der aktuellen Fassung des Hilfeartikels nicht vor, ebenso wenig Claude-Web [1]. Anthropic nennt dort nur ClaudeBot, Claude-User und Claude-SearchBot. Eine Erklärung, ob und wann anthropic-ai abgelöst wurde, gibt der Artikel nicht. Für Ihre robots.txt zählt allein, welche Namen die Crawler heute verwenden.
Warum ein alter Eintrag nicht weiterhilft, folgt aus der Norm RFC 9309. Ein Crawler sucht in der robots.txt nach der Gruppe, deren User-agent-Zeile zu seinem eigenen Namen passt [2]. Findet er keine, gilt die Gruppe mit dem Stern "*", falls es sie gibt [2]. Eine Gruppe nur für anthropic-ai passt nicht zum Namen ClaudeBot. ClaudeBot liest dann die Sterngruppe oder, wenn auch die fehlt, gar keine Regeln.
Der Eintrag für anthropic-ai schadet nicht, er kann stehen bleiben. Wer das Training ausschließen will, ergänzt die Gruppe einfach um eine zweite Zeile. Die Norm erlaubt mehrere User-agent-Zeilen, die sich dieselben Regeln teilen [2]. Untereinander stehen dann "User-agent: anthropic-ai", "User-agent: ClaudeBot" und darunter "Disallow: /".
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
ClaudeBot sperren oder bremsen
Für eine vollständige Sperre empfiehlt Anthropic eine Gruppe "User-agent: ClaudeBot" mit "Disallow: /" in der robots.txt im obersten Verzeichnis [1]. Anthropic weist ausdrücklich darauf hin, dass das für jede Subdomain gilt, die ausgenommen werden soll [1]. Wer etwa shop.example.de und blog.example.de betreibt, braucht den Eintrag in beiden Dateien.
Manche Betreiber stört weniger das Training als die Last auf dem Server. Für diesen Fall nennt Anthropic die nicht genormte Angabe Crawl-delay, zum Beispiel "Crawl-delay: 1" in der Gruppe für ClaudeBot [1]. Anthropic unterstützt diese Erweiterung nach eigener Angabe [1]. In RFC 9309 ist Crawl-delay nicht festgelegt, andere Crawler können die Angabe also ignorieren. Sie wirkt nur bei Anbietern, die sie ausdrücklich unterstützen.
Teilsperren funktionieren wie bei jedem anderen Crawler. "Disallow: /kunden/" nimmt nur diesen Bereich heraus. Bei gleichwertigen Allow- und Disallow-Regeln soll laut Norm die Allow-Regel verwendet werden, sonst gilt die genaueste Übereinstimmung [2]. Den Namen vergleicht der Crawler ohne Rücksicht auf Groß- und Kleinschreibung [2].
Warum Anthropic von IP-Sperren abrät
Viele Hoster und Firewalls bieten an, Crawler über ihre IP-Adressen auszusperren. Anthropic rät davon ab. Eine IP-Sperre funktioniere möglicherweise nicht richtig oder nicht zuverlässig, weil sie den Crawler daran hindern kann, die robots.txt zu lesen [1]. Der Gedanke dahinter: Kann ClaudeBot die Datei nicht abrufen, kennt er auch die Sperre nicht.
Nützlich sind die IP-Adressen trotzdem, nämlich zur Prüfung. Anthropic veröffentlicht sie in einer Datei unter claude.com/crawling/bots.json und schreibt, dass ein Crawler mit einer Adresse aus dieser Liste von Anthropic kommt [1]. Bei unserem Abruf am 31.10.2026 trug die Datei den Zeitstempel 20.10.2026 und enthielt 14 IPv4-Bereiche [3]. Welcher Bereich zu welchem der drei Bots gehört, steht nicht darin [3]. Die Liste kann sich ändern, prüfen Sie also immer gegen den aktuellen Stand.
Was eine Sperre nicht abdeckt
Die robots.txt wirkt nur auf Crawler, die sie lesen. Kopiert jemand einen Abschnitt Ihrer Website in ein Gespräch mit Claude, ist kein Crawler beteiligt, und die Datei spielt keine Rolle. Auch rückwirkend ändert ein neuer Eintrag nichts: Anthropic spricht ausdrücklich von den "future materials" einer Website [1]. Was ClaudeBot vor der Änderung abgerufen hat, behandelt der Hilfeartikel nicht.
Ebenso wenig ersetzt die robots.txt einen Zugangsschutz. RFC 9309 sagt dazu knapp, die Regeln seien "not a form of access authorization" [2]. Inhalte, die niemand außer Ihren Kunden sehen soll, gehören hinter eine Anmeldung. Dort kommt ClaudeBot ohnehin nicht hin, solange er die Anmeldung nicht überwinden kann, und nach Anthropics Angabe versucht er auch nicht, CAPTCHAs zu umgehen [1].
So beobachten Sie die Wirkung
Nach einer Änderung lohnt ein Blick ins Zugriffsprotokoll Ihres Servers. Die Norm sieht vor, dass Crawler eine zwischengespeicherte robots.txt nicht länger als einen Tag verwenden [2]. Ein paar Tage nach der Änderung sollte ClaudeBot also nur noch die robots.txt selbst abrufen und gesperrte Pfade meiden. Filtern Sie dazu die Zeilen mit "ClaudeBot" im User-Agent und schauen Sie, welche Adressen er noch anfragt. Taucht er weiter in gesperrten Bereichen auf, prüfen Sie zuerst die Schreibweise der Gruppe und ob die robots.txt unter der Adresse erreichbar ist, die der Crawler abruft.
Wenn ClaudeBot sich nicht an die Regeln hält
Bevor Sie Anthropic einen Fehler melden, klären Sie, ob der Zugriff überhaupt von Anthropic stammt. Ein User-Agent mit "ClaudeBot" kann jeder Client senden. Erst der Abgleich der IP-Adresse mit bots.json zeigt, ob es der echte Crawler ist. Wie Sie dabei im Log vorgehen, beschreibt der Ratgeber KI-Crawler im Server-Log erkennen.
Stammt der Zugriff aus einem Bereich der Liste und verstößt er gegen Ihre robots.txt, nennt Anthropic im Hilfeartikel eine Kontaktadresse für Fragen und vermutete Fehlfunktionen. Schreiben Sie von einer E-Mail-Adresse, die die betroffene Domain enthält. Das hilft Anthropic laut Artikel, die Meldung zu prüfen [1]. Legen Sie Datum, Uhrzeit, aufgerufene Adresse und IP-Adresse aus dem Log bei.
Die Entscheidung im Zusammenhang
Eine Sperre von ClaudeBot betrifft laut Anthropic das Training [1]. Wer Claude-SearchBot und Claude-User zulässt, kann weiterhin in den Antworten von Claude mit Websuche vorkommen. Wie Claude bei einer Suche Quellen auswählt und anzeigt, steht im Ratgeber Claude: Websuche und Quellen. Die Abwägung über alle Anbieter beschreibt KI-Crawler blockieren oder zulassen, die kurze Erklärung des Begriffs steht im Glossar unter KI-Crawler.
Nach unserer Erfahrung lohnt es sich, bei der Gelegenheit die ganze robots.txt durchzusehen. Wo ein nicht mehr dokumentierter Name für Anthropic steht, stehen oft auch andere Namen aus derselben Liste, deren Crawler es so nicht mehr gibt.
Wenn Sie die robots.txt nicht selbst pflegen möchten: Die Prüfung und Pflege von robots.txt, Crawlern und Indexierung gehört bei SEO NW zum technischen SEO.
Sie wollen wissen, ob Ihre robots.txt ClaudeBot tatsächlich erreicht? Stellen Sie die Frage in der gratis Sprechstunde, dort besprechen wir die Frage mit Ihnen.
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic (Claude Help Center). Stand 07.04.2026. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation IP-Liste der Crawler (bots.json). Anthropic. Stand 20.10.2026. abgerufen am 31.10.2026
Häufige Fragen
Reicht ein Eintrag für anthropic-ai in der robots.txt?
Für ClaudeBot nicht. Ein Crawler folgt der Gruppe, die zu seinem Namen passt, und anthropic-ai passt nicht zu ClaudeBot. Ergänzen Sie die Gruppe um eine Zeile "User-agent: ClaudeBot".
Verschwinde ich aus Claude, wenn ich ClaudeBot sperre?
ClaudeBot betrifft laut Anthropic das Training. Für Suche und Abrufe auf Nutzerwunsch gibt es Claude-SearchBot und Claude-User, die Sie getrennt steuern.
Kann ich ClaudeBot nur bremsen statt sperren?
Ja. Anthropic unterstützt die nicht genormte Angabe Crawl-delay, zum Beispiel "Crawl-delay: 1" in der Gruppe für ClaudeBot.
Gilt die Sperre auch für meine Subdomains?
Nein. Anthropic schreibt, dass der Eintrag für jede Subdomain nötig ist, die ausgenommen werden soll. Jede Subdomain hat ihre eigene robots.txt.
Soll ich ClaudeBot per IP-Adresse sperren?
Anthropic rät davon ab, weil der Crawler dann unter Umständen die robots.txt nicht lesen kann. Die IP-Liste unter claude.com/crawling/bots.json eignet sich zur Prüfung, ob ein Zugriff echt ist.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
