Stand: 30.10.2026. Viele Websites haben in den letzten Jahren KI-Crawler pauschal gesperrt, meist aus Sorge um die Nutzung ihrer Inhalte für das Training von Sprachmodellen. Inzwischen trennen die Anbieter ihre Crawler aber nach Zweck. Wer alles sperrt, verschwindet damit unter Umständen auch aus den Suchfunktionen von ChatGPT, Claude oder Perplexity. Dieser Beitrag zeigt, welcher Crawler wofür zuständig ist und wie Sie in der robots.txt getrennt entscheiden.
Drei Zwecke, drei Arten von Crawlern
Die Dokumentationen von OpenAI und Anthropic trennen Crawler für das Training, für den Suchindex und für Abrufe, wenn ein Nutzer im Chat danach fragt [1, 2]. Perplexity nennt zwei Crawler, einen für die Suche und einen für Nutzerabrufe, und gibt an, damit keine Modelle zu trainieren [3]. Google regelt das Training über das Steuerzeichen Google-Extended in der robots.txt, einen eigenen User-agent dafür gibt es nicht [4].
| User-agent | Anbieter | Zweck | Folge einer Sperre |
|---|---|---|---|
| GPTBot | OpenAI | Training von Modellen | Inhalte sollen nicht ins Training gehen [1] |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | keine Anzeige in Suchantworten, nur noch als Navigationslink möglich [1] |
| ChatGPT-User | OpenAI | Abruf auf Wunsch eines Nutzers | robots.txt gilt hier unter Umständen nicht [1] |
| ClaudeBot | Anthropic | Training von Modellen | künftige Inhalte sollen aus dem Training bleiben [2] |
| Claude-SearchBot | Anthropic | Suchindex | weniger Sichtbarkeit in Suchergebnissen von Claude [2] |
| Claude-User | Anthropic | Abruf auf Wunsch eines Nutzers | keine Abrufe für Nutzerfragen [2] |
| PerplexityBot | Perplexity | Suchergebnisse mit Links | keine Anzeige in Suchergebnissen von Perplexity [3] |
| Perplexity-User | Perplexity | Abruf auf Wunsch eines Nutzers | ignoriert robots.txt in der Regel [3] |
| Google-Extended | Training von Gemini und Grounding | kein Einfluss auf die Google-Suche [4] |
Was eine Sperre bewirkt und was nicht
Die Folgen unterscheiden sich je nach Crawler deutlich. OpenAI schreibt, dass Websites, die OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT erscheinen [1]. GPTBot und OAI-SearchBot lassen sich unabhängig voneinander einstellen. Lässt eine Website beide zu, kann OpenAI einen Abruf für beide Zwecke nutzen [1]. Änderungen an der robots.txt greifen bei OpenAI nach etwa einem Tag [1].
Google-Extended ist ein Sonderfall. Google schreibt ausdrücklich, dass das Steuerzeichen weder die Aufnahme in die Google-Suche beeinflusst noch als Rankingsignal dient [4]. Wer seine Inhalte nicht für das Training von Gemini freigeben will, kann Google-Extended also sperren, ohne um seine Sichtbarkeit in der normalen Suche fürchten zu müssen. Für AI Overviews und den AI Mode gelten dagegen die normalen Regeln für den Googlebot und die Snippet-Steuerung [5].
Bei Abrufen auf Wunsch eines Nutzers greift die robots.txt nur eingeschränkt. OpenAI schreibt, dass die Regeln für ChatGPT-User unter Umständen nicht gelten, weil Nutzer diese Abrufe auslösen [1]. Perplexity sagt über Perplexity-User, dass dieser Abruf die robots.txt in der Regel ignoriert [3].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Die robots.txt ist kein Zugriffsschutz
Die robots.txt ist eine Bitte an Crawler. Die Norm RFC 9309 hält fest, dass ihre Regeln keine Form der Zugriffsberechtigung sind [6]. Inhalte, die niemand abrufen soll, gehören hinter eine Anmeldung. Wer einzelne Crawler technisch aussperren muss, kann in Firewall oder CDN auf die veröffentlichten IP-Bereiche von OpenAI [1] und Perplexity [3] zurückgreifen. Anthropic weist darauf hin, dass eine Sperre über IP-Adressen nicht zuverlässig funktionieren muss, und empfiehlt die robots.txt [2].
Ein Vorschlag für Unternehmenswebsites
Für die meisten Unternehmen ist Sichtbarkeit in KI-Suchen erwünscht, die Nutzung für Training eine Abwägung. Eine robots.txt, die das abbildet, lässt die Suchcrawler zu und regelt die Trainingscrawler getrennt. Für OpenAI stehen dann zwei Blöcke darin: "User-agent: OAI-SearchBot" mit "Allow: /" und "User-agent: GPTBot" mit "Disallow: /", wenn das Training ausgeschlossen werden soll. Für Anthropic gilt dasselbe mit Claude-SearchBot und ClaudeBot, für Google reicht ein Block für Google-Extended. Anthropic unterstützt zusätzlich die nicht genormte Angabe Crawl-delay, um die Abrufrate zu bremsen [2]. Die Regeln gelten je Host, jede Subdomain braucht also eine eigene robots.txt [2].
Prüfen Sie nach jeder Änderung, ob der Googlebot weiterhin alles Wichtige erreicht. Ein Tippfehler in einer Sammelregel sperrt schnell mehr als gewollt. Hilfe dabei bieten der Ratgeber robots.txt richtig schreiben und der robots.txt-Tester. Die einzelnen Bots beschreiben wir ausführlich unter KI-Crawler blockieren oder zulassen, und den Begriff erklärt das Glossar unter robots.txt.
Sie wissen nicht, welche Crawler Ihre robots.txt heute aussperrt? Stellen Sie die Frage in der gratis Sprechstunde, wir lesen die Datei gemeinsam mit Ihnen.
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 30.10.2026
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic. Stand ohne Datum. abgerufen am 30.10.2026
- Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 30.10.2026
- Organisation Übersicht über die gängigen Crawler von Google (Google-Extended). Google Search Central. Stand 30.10.2026. abgerufen am 30.10.2026
- Organisation KI-Funktionen und Ihre Website. Google Search Central. Stand 10.12.2025. abgerufen am 30.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF (Koster, Illyes, Zeller, Sassman). Stand 09.2022. abgerufen am 30.10.2026
Häufige Fragen
Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot sperre?
Nein. Für die Suche in ChatGPT ist OAI-SearchBot zuständig, GPTBot betrifft das Training. Beide lassen sich in der robots.txt getrennt steuern.
Beeinflusst Google-Extended mein Ranking bei Google?
Google schreibt, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch ein Rankingsignal ist. Das Steuerzeichen betrifft das Training von Gemini und das Grounding.
Halten sich alle KI-Crawler an die robots.txt?
Die Crawler für Training und Suche halten sich nach Angabe der Anbieter daran. Abrufe, die ein Nutzer im Chat auslöst, etwa durch ChatGPT-User oder Perplexity-User, beachten die robots.txt nicht immer.
Wie schnell wirkt eine Änderung an der robots.txt?
OpenAI nennt etwa einen Tag, bis seine Systeme eine Änderung berücksichtigen. Andere Anbieter nennen keine Frist. Bei Google hängt es davon ab, wann die Datei neu abgerufen wird.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
