Stand: 31.10.2026. Anthropic, der Anbieter des KI-Assistenten Claude, betreibt drei Bots, die Websites abrufen. Einer sammelt Inhalte, die in das Training einfließen können. Die beiden anderen arbeiten für die Suche und für Nutzerfragen. Wer in der robots.txt nur einen Eintrag für "ClaudeBot" kennt, regelt damit also nur einen Teil. Dieser Ratgeber erklärt Claude-SearchBot und Claude-User genauer: was sie tun, was eine Sperre bewirkt und wie Sie die beiden sauber vom Trainingscrawler trennen. Den Trainingscrawler selbst behandelt der Ratgeber ClaudeBot und anthropic-ai.
Drei Bots, drei Zwecke
Anthropic stellt die drei Bots in seinem Hilfeartikel nebeneinander, jeweils mit Zweck und Folge einer Sperre [1]:
| Bot | Zweck laut Anthropic | Folge einer Sperre laut Anthropic |
|---|---|---|
| ClaudeBot | sammelt Webinhalte, die zum Training beitragen können | künftige Inhalte der Website sollen aus den Trainingsdaten ausgeschlossen werden |
| Claude-User | unterstützt Nutzer von Claude und ruft Websites ab, wenn sie Claude Fragen stellen | keine Abrufe Ihrer Inhalte als Antwort auf Nutzerfragen, dadurch weniger Sichtbarkeit bei der Websuche auf Nutzerwunsch |
| Claude-SearchBot | durchsucht das Web, um die Qualität der Suchergebnisse für Nutzer zu verbessern | keine Indexierung Ihrer Inhalte für die Suche, dadurch weniger Sichtbarkeit und Genauigkeit in Suchergebnissen |
Für Unternehmen, die in Antworten von Claude auftauchen wollen, sind Claude-SearchBot und Claude-User die wichtigen Einträge. Anthropic schreibt zu Claude-User wörtlich: "Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query" [1]. Zu Claude-SearchBot heißt es, eine Sperre verhindere, dass das System Ihre Inhalte für die Suchoptimierung indexiert [1].
Claude-SearchBot: der Index für die Suche
Claude-SearchBot indexiert Inhalte für die Suche und arbeitet damit unabhängig von einer einzelnen Nutzerfrage. Anthropic beschreibt den Zweck knapp mit der Verbesserung der Suchergebnisse für Nutzer [1]. Sperren Sie diesen Bot, fehlen Ihre Inhalte in diesem Bestand. Anthropic nennt als Folge weniger Sichtbarkeit und weniger Genauigkeit in den Suchergebnissen [1]. Der zweite Punkt ist für Unternehmen interessant: Fehlen die eigenen Seiten, dürfte sich eine Antwort über Ihr Unternehmen eher auf das stützen, was andere über Sie schreiben.
Die Websuche selbst muss in Claude eingeschaltet sein oder von Claude selbst gewählt werden. Laut Hilfeartikel ruft Claude bei aktuellen Themen ein Suchwerkzeug auf und stützt seine Antwort auf Webinhalte. Jede Antwort enthält dann Quellenangaben mit Links [2]. Mit der neuen Oberfläche entscheidet Claude selbst, wann gesucht wird [2]. Für lokale Anbieter ist ein Detail des Hilfeartikels wichtig: Claude kann für ortsbezogene Ergebnisse den Standort nutzen, den es aus der IP-Adresse ableitet [2]. Fragt jemand in Magdeburg nach einem Handwerksbetrieb, kann die Antwort also Betriebe aus der Umgebung bevorzugen. Das klappt aber nur, wenn deren Seiten für die Suche erreichbar sind und Ort und Einzugsgebiet klar als Text nennen. In Team- und Enterprise-Konten muss zuerst ein Administrator die Websuche in den Organisationseinstellungen freigeben, erst danach können Mitglieder sie nutzen [2]. Bei kostenlosen Konten zählen Suche und Abruf zum Nutzungslimit [2]. Wie die Quellen in Claude aussehen, beschreibt der Ratgeber Claude Websuche und Quellen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Claude-User: Abrufe auf Wunsch
Claude-User kommt ins Spiel, wenn eine konkrete Nutzerfrage einen Abruf auslöst, etwa weil jemand Claude bittet, eine bestimmte Seite zu lesen. Anthropic beschreibt den Bot als Unterstützung für Nutzer von Claude [1]. Für alle drei Bots schreibt Anthropic, dass sie Signale gegen das Crawlen respektieren und die üblichen Anweisungen der robots.txt befolgen [1]. Nach Anthropics Angaben verhindert eine Sperre von Claude-User deshalb auch Abrufe, die ein Mensch angestoßen hat.
Für Entwickler bietet Anthropic ein eigenes Werkzeug zum Abrufen von Webseiten in der API an. Seine Dokumentation zeigt, welche Grenzen dort gelten. Abgerufen werden nur Adressen, die vorher im Gespräch vorkamen, und eine Fehlermeldung nennt ausdrücklich Einschränkungen durch die robots.txt als möglichen Grund für eine Ablehnung [3]. Seiten, die erst per JavaScript aufgebaut werden, unterstützt das Werkzeug derzeit nicht [3]. Entwickler können die erlaubten oder gesperrten Domains außerdem selbst festlegen, und Administratoren einer Organisation können den Abruf ganz abschalten [3]. Welchen Bot-Namen dieses Werkzeug verwendet, sagt die Dokumentation nicht. Der Hinweis zu JavaScript passt aber zu einer allgemeinen Regel: Wichtige Inhalte gehören als Text in das ausgelieferte HTML.
Einträge in der robots.txt
Für die meisten Unternehmen passt eine Aufteilung: Suche und Nutzerabrufe zulassen, das Training nach eigener Abwägung regeln. Die Datei enthält dann je einen Block "User-agent: Claude-SearchBot" und "User-agent: Claude-User" mit "Allow: /" sowie einen Block "User-agent: ClaudeBot" mit "Disallow: /", falls Sie das Training ausschließen möchten. Fehlt ein eigener Block, gelten nach der Norm RFC 9309 für den Bot die allgemeinen Regeln unter "User-agent: *" [4].
Zwei Besonderheiten nennt Anthropic. Die Bots unterstützen die nicht genormte Angabe Crawl-delay, mit der Sie die Abrufrate bremsen können [1]. Und die Sperre muss für jede Subdomain einzeln gesetzt werden: "Please do this for every subdomain that you wish to opt out from" [1]. Wer Shop, Blog und Hauptseite auf getrennten Subdomains betreibt, braucht also drei Dateien. Das deckt sich mit RFC 9309, nach der die robots.txt im obersten Pfad des jeweiligen Dienstes liegt [4].
Echte Anthropic-Bots erkennen
Ob ein Zugriff wirklich von Anthropic kommt, prüfen Sie über die IP-Liste, die Anthropic unter claude.com/crawling/bots.json veröffentlicht. Steht die Quelladresse eines Crawlers auf dieser Liste, kommt er nach Anthropics Angabe von Anthropic [1]. Eine Sperre über IP-Adressen empfiehlt Anthropic dagegen nicht. Sie funktioniere womöglich nicht korrekt und garantiere den Ausschluss nicht dauerhaft [1]. Der dokumentierte Weg bleibt die robots.txt.
Anthropic sagt außerdem zu, beim Crawlen keine Captchas zu umgehen [1]. Bei Problemen mit einem Bot sollen sich Website-Betreiber von einer E-Mail-Adresse melden, die zur betroffenen Domain gehört [1]. Wie Sie die Zugriffe der Bots in Ihren Logdateien finden, zeigt KI-Crawler im Server-Log erkennen.
Die Entscheidung abwägen
Die Frage, ob Sie Claude-SearchBot und Claude-User zulassen, hängt am Geschäftsmodell. Ein Betrieb, der über Suchen Kunden gewinnt, hat wenig Grund, die Such-Bots auszusperren. Ein Verlag, der von Seitenaufrufen lebt, wägt anders ab, weil eine Antwort in Claude einen Klick ersetzen kann. Nach unserer Erfahrung sperren viele Websites die Such-Bots versehentlich, etwa durch eine alte Sammelregel unter "User-agent: *" oder durch einen Schutzdienst des Hosters. Die Abwägung für alle KI-Crawler im Zusammenhang beschreibt KI-Crawler blockieren oder zulassen, den Überblick mit Tabelle liefert die News KI-Crawler in der robots.txt steuern.
Sie möchten wissen, welche der drei Anthropic-Bots Ihre robots.txt heute durchlässt? Stellen Sie die Frage in der gratis Sprechstunde. Wenn Sie die Arbeit an Technik und Inhalten abgeben wollen, beschreibt die Leistung GEO (SEO Agentur und Suchmaschinenoptimierung) den Ablauf.
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic (Claude Help Center). Stand 07.04.2026. abgerufen am 31.10.2026
- Organisation Enabling and using web search. Anthropic (Claude Help Center). Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Web fetch tool. Anthropic (Claude Platform Docs). Stand ohne Datum. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF (Koster, Illyes, Zeller, Sassman). Stand 09.2022. abgerufen am 31.10.2026
Häufige Fragen
Was ist der Unterschied zwischen ClaudeBot und Claude-SearchBot?
ClaudeBot sammelt Inhalte, die zum Training der Modelle beitragen können. Claude-SearchBot durchsucht das Web, um die Suchergebnisse von Claude zu verbessern. Beide lassen sich in der robots.txt getrennt steuern.
Hält sich Claude-User an die robots.txt?
Anthropic schreibt, dass seine Bots die üblichen Anweisungen der robots.txt befolgen. Eine Sperre von Claude-User verhindert laut Anthropic, dass Ihre Inhalte als Antwort auf Nutzerfragen abgerufen werden.
Gilt eine Sperre automatisch für alle Subdomains?
Nein. Anthropic bittet ausdrücklich darum, die Sperre für jede Subdomain einzeln zu setzen. Jede Subdomain braucht ihre eigene robots.txt.
Kann ich die Abrufrate der Anthropic-Bots begrenzen?
Ja. Anthropic unterstützt die nicht genormte Angabe Crawl-delay in der robots.txt, mit der Sie die Abstände zwischen den Abrufen vergrößern.
Sollte ich die Anthropic-Bots über ihre IP-Adressen sperren?
Anthropic rät davon ab, weil eine IP-Sperre nicht zuverlässig funktionieren muss. Die IP-Liste unter claude.com/crawling/bots.json eignet sich dagegen gut, um echte Zugriffe zu erkennen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
