Eine pauschale Sperre aller KI-Bots ist für die meisten Unternehmen zu grob. Die großen Anbieter trennen ihre Crawler inzwischen nach Zweck, und eine Sperre wirkt je nach Crawler ganz unterschiedlich: Mal hält sie Inhalte aus dem Training heraus, mal entfernt sie eine Website aus den Antworten einer KI-Suche. Dieser Ratgeber hilft bei der Abwägung. Er ordnet die Crawler nach den Folgen, die die Anbieter selbst beschreiben, und zeigt einen Ablauf, mit dem Sie zu einer robots.txt kommen, die zu Ihrem Geschäft passt.
Die Ausgangsfrage: Wovon lebt Ihre Website?
Bevor Sie eine einzige Zeile ändern, klären Sie, welchen Zweck Ihre Inhalte haben. Zwei Gruppen lassen sich gut unterscheiden.
Die erste Gruppe verdient mit dem Text selbst. Dazu gehören Verlage, Fachdatenbanken, Kursanbieter, Studien mit Bezahlschranke oder Ratgeberportale, die von Werbeeinnahmen leben. Für sie ist jede Antwort einer KI, die ihren Inhalt ohne Besuch wiedergibt, ein möglicher Verlust. Sie haben gute Gründe, das Training auszuschließen und auch bei der KI-Suche genauer hinzusehen.
Die zweite Gruppe verdient mit dem, was der Text beschreibt: Handwerker, Dienstleister, Kanzleien, Praxen, Händler, Hersteller. Für sie ist eine Nennung in einer KI-Antwort Werbung für das eigene Angebot. Wir raten dazu, die Crawler der Suchfunktionen zuzulassen. Beim Training ist die Frage eher eine Haltung als eine wirtschaftliche Rechnung.
Viele Websites gehören zu beiden Gruppen, etwa ein Onlineshop mit einem großen Ratgeberbereich. Dann lohnt eine Entscheidung je Verzeichnis statt für die ganze Domain.
Was eine Sperre bei welchem Crawler bewirkt
Die folgende Tabelle fasst zusammen, was die Anbieter in ihrer eigenen Dokumentation über die Folgen einer Sperre schreiben. Sie enthält die Crawler, deren Dokumentation wir für diesen Ratgeber geprüft haben, und ist keine vollständige Liste.
| Crawler | Anbieter | Zweck | Folge einer Sperre laut Anbieter |
|---|---|---|---|
| GPTBot | OpenAI | Training | Signal, dass Inhalte nicht ins Training sollen [1] |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | keine Anzeige in Suchantworten, nur noch als Navigationslink [1] |
| ClaudeBot | Anthropic | Training | künftige Inhalte sollen aus den Trainingsdaten bleiben [2] |
| Claude-SearchBot | Anthropic | Suchindex | kann Sichtbarkeit und Genauigkeit in Suchantworten verringern [2] |
| PerplexityBot | Perplexity | Suche | laut Perplexity nicht zum Crawlen von Inhalten für KI-Basismodelle genutzt [3] |
| Google-Extended | Training und Grounding für Gemini | kein Einfluss auf Aufnahme und Ranking in der Google-Suche [4] | |
| DuckAssistBot | DuckDuckGo | KI-gestützte Antworten | kein Einfluss auf die organischen Rankings, Wirkung nach 72 Stunden [5] |
Wer die Trainingscrawler sperrt, verliert nach Angabe der Anbieter keine Sichtbarkeit in deren Suche. Wer die Suchcrawler sperrt, verliert sie. DuckDuckGo schreibt zu DuckAssistBot ausdrücklich, dass die abgerufenen Daten in keiner Weise zum Training von KI-Modellen verwendet werden [5]. Ausführlich zu einzelnen Crawlern schreiben die Ratgeber GPTBot in der robots.txt, ClaudeBot und anthropic-ai und Google-Extended.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Wenn die Serverlast das eigentliche Problem ist
Manche Betreiber wollen KI-Crawler gar nicht aus grundsätzlichen Gründen sperren. Sie merken nur, dass ihr Server unter vielen Abrufen langsamer wird. Eine vollständige Sperre ist dann ein grobes Mittel. Anthropic unterstützt für ClaudeBot die nicht genormte Angabe Crawl-delay, mit der sich die Abrufrate bremsen lässt [2]. Da Crawl-delay nicht in RFC 9309 steht, gilt die Angabe nur bei Anbietern, die sie ausdrücklich unterstützen. Bei allen anderen hilft eher eine Drosselung beim Hoster oder ein Cache, der häufig abgerufene Seiten schneller ausliefert. Prüfen Sie vor jeder Maßnahme im Log, welcher Crawler die Last tatsächlich verursacht, und ob er wirklich der ist, für den er sich ausgibt.
Abrufe auf Nutzerwunsch sind ein Sonderfall
Neben Trainings- und Suchcrawlern gibt es eine dritte Art: Abrufe, die ein Mensch auslöst, indem er einem KI-Dienst eine Frage stellt oder eine Adresse nennt. Für diese Abrufe gelten die Regeln der robots.txt nur eingeschränkt. OpenAI schreibt zu ChatGPT-User: "Because these actions are initiated by a user, robots.txt rules may not apply." [1] Perplexity schreibt über Perplexity-User, dieser Abruf ignoriere die robots.txt in der Regel, weil ein Nutzer ihn angefordert hat [3]. Anthropic führt Claude-User als eigene Kennung und beschreibt, dass eine Sperre die Abrufe für Nutzerfragen verhindert [2].
Für die Abwägung bedeutet das: Eine robots.txt kann diese Abrufe nicht bei allen Anbietern zuverlässig verhindern. Wer Inhalte wirklich zurückhalten muss, braucht andere Mittel.
Die robots.txt ist eine Bitte
Die Norm RFC 9309 formuliert es knapp: Die Regeln der robots.txt sind "not a form of access authorization" [6]. Ob ein Crawler sie befolgt, entscheidet sein Betreiber. Die großen Anbieter sagen zu, sich daran zu halten. Anthropic etwa schreibt, seine Bots befolgten "industry standard directives in robots.txt" [2]. Unbekannte Crawler, die keinen Namen nennen oder sich als Browser ausgeben, erreicht die Datei nicht.
Wer Inhalte schützen muss, setzt eine Anmeldung davor. Wer einzelne Crawler technisch aussperren will, kann Firewall oder CDN einsetzen. Die Anbieter geben dazu unterschiedliche Hinweise. OpenAI empfiehlt, die veröffentlichten IP-Bereiche von OAI-SearchBot zuzulassen [1]. Perplexity weist darauf hin, dass Sie seine Bots in einer Web Application Firewall unter Umständen ausdrücklich freischalten müssen [3]. Anthropic rät von IP-Sperren ab, weil der Crawler dann die robots.txt womöglich nicht lesen kann [2]. Ein Bot-Schutz beim Hoster, der unbekannte Crawler pauschal abweist, kann also auch Crawler treffen, die Sie eigentlich zulassen wollten.
Ein Ablauf in fünf Schritten
- Bestand aufnehmen: Öffnen Sie die robots.txt jeder Domain und Subdomain und notieren Sie, welche KI-Crawler dort heute genannt sind. Jede Subdomain hat nach RFC 9309 ihre eigene Datei im obersten Verzeichnis [6].
- Entscheiden: Legen Sie je Crawlerart fest, was Sie wollen. Training ja oder nein, KI-Suche ja oder nein, und für welche Verzeichnisse.
- Schreiben: Je Crawler eine eigene Gruppe mit "User-agent:" und den Regeln. Denken Sie daran, dass ein Crawler mit eigener Gruppe die Sterngruppe "*" nicht mehr liest [6].
- Prüfen: Testen Sie die Datei, bevor Sie sie hochladen, und kontrollieren Sie, dass Googlebot und Bingbot weiterhin alles Wichtige dürfen. Der robots.txt-Tester hilft dabei.
- Beobachten: Schauen Sie einige Tage später ins Server-Log. Wie das geht, beschreibt der Ratgeber KI-Crawler im Server-Log erkennen.
Halten Sie die Entscheidung mit Datum fest. Die Anbieter ändern ihre Dokumentation regelmäßig, und neue Kennungen kommen hinzu. Google kündigt in seiner Crawler-Übersicht zum Beispiel an, Anfang 2027 das gemeinsame Signal AIPREF für Trainingspräferenzen zu unterstützen [4]. Wir empfehlen einen Blick auf die eigene robots.txt einmal im Halbjahr.
Was wir Unternehmen meist raten
Nach unserer Erfahrung passt für Dienstleister und Händler fast immer dieselbe Grundeinstellung: Die Suchcrawler bleiben offen, über die Trainingscrawler entscheidet der Inhaber nach seiner Haltung, und Bereiche mit Kundendaten oder internen Dokumenten stehen hinter einer Anmeldung statt nur in der robots.txt. Verlage und Anbieter von Fachinhalten brauchen eine genauere Rechnung, bei der auch Lizenzfragen eine Rolle spielen können.
Die Kurzfassung für Eilige steht in der FAQ Soll ich KI-Crawler blockieren?, eine Übersicht aller Bots mit Stand in der News KI-Crawler in der robots.txt steuern. Den Begriff erklärt das Glossar unter KI-Crawler.
Was SEO NW bei SEO Agentur und Suchmaschinenoptimierung, kurz GEO, für Unternehmen übernimmt, von der Crawler-Entscheidung bis zur Messung, beschreibt die Seite GEO.
Sie sind unsicher, welche Einstellung zu Ihrem Geschäft passt? Stellen Sie die Frage in der gratis Sprechstunde. Dort besprechen wir Ihre Frage mit Ihnen.
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic (Claude Help Center). Stand 07.04.2026. abgerufen am 31.10.2026
- Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Google's common crawlers (Google-Extended). Google Search Central. Stand 30.10.2026. abgerufen am 31.10.2026
- Organisation Is DuckAssistBot related to DuckDuckGo?. DuckDuckGo Help Pages. Stand ohne Datum. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
Häufige Fragen
Verliere ich Google-Rankings, wenn ich KI-Crawler sperre?
Nicht durch Google-Extended, das laut Google kein Rankingsignal ist. Sperren Sie aber versehentlich Googlebot, etwa durch eine falsche Sammelregel, trifft das die normale Suche.
Welche Crawler sollte ein Handwerksbetrieb zulassen?
Die Crawler der KI-Suchen wie OAI-SearchBot, Claude-SearchBot, PerplexityBot und DuckAssistBot. Über die Trainingscrawler kann der Inhaber nach eigener Haltung entscheiden.
Hilft die robots.txt gegen alle KI-Abrufe?
Nein. Abrufe, die ein Nutzer auslöst, beachten die robots.txt laut OpenAI unter Umständen nicht und laut Perplexity in der Regel nicht. Die Norm RFC 9309 nennt die Regeln ausdrücklich keine Zugriffsberechtigung.
Kann ich KI-Crawler nur für einzelne Bereiche sperren?
Ja. Statt "Disallow: /" schreiben Sie den Pfad des Bereichs in die Gruppe des jeweiligen Crawlers. So bleibt etwa der Ratgeberbereich gesperrt und die Leistungsseiten offen.
Wie oft sollte ich die Einstellung prüfen?
Die Anbieter ändern ihre Crawler und deren Dokumentation regelmäßig. Wir empfehlen einen Blick einmal im Halbjahr und nach jedem Relaunch.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
