Wer GPTBot in der robots.txt sperrt, trifft eine Entscheidung über das Training der Modelle von OpenAI. Mit der Sichtbarkeit in der Suche von ChatGPT hat das nichts zu tun, dafür gibt es einen eigenen Crawler. Trotzdem landen in vielen Dateien Sammelregeln, die mehr sperren als gewollt oder weniger als gedacht. Dieser Ratgeber erklärt, wie OpenAI GPTBot beschreibt, wie die Regeln in der robots.txt zusammenspielen und wie Sie prüfen, ob ein Zugriff im Log wirklich von OpenAI kommt.
Was OpenAI über GPTBot schreibt
In der Übersicht über seine Crawler beschreibt OpenAI GPTBot als Crawler für Inhalte, die für das Training seiner generativen Basismodelle verwendet werden können [1]. Sperrt eine Website GPTBot, ist das laut OpenAI ein Signal, dass ihre Inhalte nicht für das Training genutzt werden sollen [1]. Die Formulierung ist vorsichtig: Es geht um ein Signal in der robots.txt, die Norm RFC 9309 hält ausdrücklich fest, dass deren Regeln "not a form of access authorization" sind [2].
Der User-Agent enthält die Kennung "GPTBot/1.4" (die Versionsnummer kann sich laut OpenAI ändern) und einen Verweis auf openai.com/gptbot [1]. OpenAI veröffentlicht die IP-Bereiche des Crawlers als Datei unter openai.com/gptbot.json [1]. Beim Abruf der robots.txt kann GPTBot laut Dokumentation eine eigene Markierung mitsenden [1].
Neben GPTBot nennt OpenAI weitere Kennungen. OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen. ChatGPT-User ruft Seiten ab, wenn eine Person in ChatGPT oder einem eigenen GPT darum bittet. OAI-AdsBot prüft Zielseiten, die als Anzeige in ChatGPT eingereicht wurden [1]. Ausführlich zu den beiden Suchkennungen schreibt der Ratgeber OAI-SearchBot und ChatGPT-User.
Training und Suche sind getrennt
OpenAI schreibt, dass OAI-SearchBot und GPTBot in der robots.txt unabhängig voneinander gesteuert werden. Eine Website kann die Suche zulassen und das Training sperren [1]. Lässt sie beide zu, kann OpenAI die Ergebnisse eines einzigen Abrufs für beide Zwecke verwenden [1].
Daraus folgen drei typische Einstellungen. Wer in ChatGPT gefunden werden will und gegen das Training nichts hat, braucht für OpenAI gar keinen Eintrag, solange keine allgemeine Regel die Crawler aussperrt. Wer gefunden werden, aber nicht ins Training will, sperrt GPTBot und lässt OAI-SearchBot zu. Wer mit OpenAI gar nichts zu tun haben möchte, sperrt beide und nimmt in Kauf, dass die Website in den Suchantworten von ChatGPT fehlt. Laut OpenAI kann sie dann höchstens noch als Navigationslink erscheinen [1].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Die Gruppe richtig schreiben
Für die vollständige Sperre stehen zwei Zeilen untereinander: "User-agent: GPTBot" und darunter "Disallow: /". Wollen Sie nur einen Bereich herausnehmen, etwa Ihre Wissensdatenbank, schreiben Sie statt des Schrägstrichs den Pfad, also "Disallow: /wissen/". Umgekehrt lässt sich mit "Allow:" ein einzelner Bereich wieder öffnen. Bei gleichwertigen Regeln soll laut RFC 9309 die Allow-Regel verwendet werden, ansonsten gilt die Regel mit der genauesten Übereinstimmung [2].
Wichtiger als die einzelne Zeile ist das Zusammenspiel der Gruppen. Die Norm legt fest: Ein Crawler folgt der Gruppe, deren User-agent-Zeile zu seinem Namen passt. Nur wenn keine Gruppe passt, gilt die Gruppe mit dem Stern "*" [2]. Gibt es auch die nicht, gelten keine Regeln [2]. Daraus ergibt sich eine häufige Überraschung. Steht in der Datei eine allgemeine Gruppe mit gesperrten Verzeichnissen, etwa "/intern/", und daneben eine eigene Gruppe für GPTBot mit "Allow: /", dann gelten die Sperren für "/intern/" für GPTBot nicht mehr. Er liest nur seine eigene Gruppe.
Weitere Regeln aus der Norm, die bei GPTBot oft eine Rolle spielen:
- Eine Gruppe darf mehrere User-agent-Zeilen haben, die sich dieselben Regeln teilen [2]. GPTBot und andere Trainingscrawler können also gemeinsam unter einer Liste von Namen stehen.
- Gibt es mehrere Gruppen für denselben Crawler, muss er deren Regeln zusammenführen [2].
- Den Namen vergleicht der Crawler ohne Rücksicht auf Groß- und Kleinschreibung [2]. "gptbot" wirkt also genauso wie "GPTBot".
- Die Datei liegt unter "/robots.txt" im obersten Verzeichnis des jeweiligen Dienstes [2]. Subdomains brauchen deshalb je eine eigene Datei.
Fehler, die wir oft sehen
Viele Probleme entstehen beim Abtippen. Die Norm erlaubt im Namen eines Crawlers nur Buchstaben, Unterstriche und Bindestriche [2]. Ein "GPT Bot" mit Leerzeichen oder ein "GPTBot/1.4" mit Versionsnummer in der User-agent-Zeile passt deshalb nicht zuverlässig zum Crawler. Schreiben Sie den Namen so, wie OpenAI ihn als Kennung nennt: GPTBot.
Ein zweiter Klassiker ist die Reihenfolge. Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, danach folgen die Regeln [2]. Steht ein "Disallow:" ohne vorangehende User-agent-Zeile in der Datei, gehört es zu keiner Gruppe. Dritter Punkt: Manche Sicherheits-Plugins und Vorlagen schreiben eigene Sperrlisten in die robots.txt. Prüfen Sie nach einem Update, ob dort plötzlich auch OAI-SearchBot steht, obwohl Sie nur das Training ausschließen wollten. OAI-AdsBot müssen Sie in diesem Zusammenhang übrigens nicht berücksichtigen. Er besucht laut OpenAI nur Seiten, die als Anzeige eingereicht wurden, und seine Daten dienen nicht dem Training der Basismodelle [1].
Wann eine Änderung wirkt
OpenAI nennt etwa einen Tag, bis Änderungen an der robots.txt in den Suchergebnissen ankommen [1]. Diese Angabe bezieht sich auf die Suche. Für GPTBot nennt die Dokumentation keine eigene Frist. Die Norm sieht vor, dass Crawler eine zwischengespeicherte robots.txt nicht länger als einen Tag verwenden sollen [2].
Eine Sperre gilt für künftige Abrufe. Was mit Inhalten geschieht, die GPTBot vor der Änderung abgerufen hat, beschreibt die Crawler-Dokumentation von OpenAI nicht [1]. Wer das wissen muss, etwa ein Verlag mit Lizenzfragen, sollte sich direkt an OpenAI wenden und die Antwort aufbewahren.
Echte Zugriffe von GPTBot erkennen
Ein User-Agent ist nur eine Angabe des Absenders. Das Handbuch des Apache-Webservers beschreibt das Feld im Log als Information, die der Client über sich selbst meldet [3]. Jeder kann sich also GPTBot nennen. Verlässlich wird die Angabe erst mit der IP-Adresse: Stimmt sie mit einem Bereich aus openai.com/gptbot.json überein, kommt der Zugriff von OpenAI [1]. Wie Sie solche Abgleiche in größeren Logdateien machen, beschreibt der Ratgeber KI-Crawler im Server-Log erkennen.
Taucht ein Besucher mit GPTBot im User-Agent auf, obwohl die robots.txt ihn sperrt, lohnt zuerst dieser Abgleich. Kommt er nicht aus den veröffentlichten Bereichen, handelt es sich nicht um den Crawler von OpenAI. Gegen solche Besucher hilft die robots.txt ohnehin nicht. Dafür braucht es Regeln in der Firewall oder beim Hoster.
Woran Sie die Entscheidung festmachen
Nach unserer Erfahrung beantworten zwei Fragen fast jeden Fall. Verdienen Sie Geld mit dem Text selbst, etwa als Verlag, mit Kursen oder mit einer Fachdatenbank? Dann spricht viel dafür, GPTBot zu sperren. Verdienen Sie Geld mit dem, was der Text beschreibt, also mit einer Dienstleistung, einem Produkt oder einem Termin vor Ort? Dann steht die Sichtbarkeit im Vordergrund, und die Frage nach dem Training ist eher eine Haltung als ein wirtschaftlicher Hebel. Die Abwägung über alle Anbieter hinweg steht im Ratgeber KI-Crawler blockieren oder zulassen, das Gegenstück bei Google im Ratgeber Google-Extended.
Prüfen Sie nach jeder Änderung mit dem robots.txt-Tester, ob GPTBot, OAI-SearchBot und Googlebot genau das dürfen, was Sie wollen. Den Begriff robots.txt erklärt das Glossar.
Die robots.txt ist ein Baustein des technischen SEO, das SEO NW für Unternehmen übernimmt, auf Wunsch zusammen mit der Prüfung aller übrigen Crawler.
Sie möchten wissen, wie Ihre robots.txt heute mit GPTBot umgeht? Stellen Sie die Frage in der gratis Sprechstunde, dort besprechen wir die Frage mit Ihnen.
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation Log Files (Apache HTTP Server Version 2.4 Documentation). The Apache Software Foundation. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?
Nein. Für die Suche in ChatGPT ist OAI-SearchBot zuständig. OpenAI schreibt, dass beide Crawler unabhängig voneinander gesteuert werden.
Gilt eine Sperre mit "User-agent: *" auch für GPTBot?
Ja, solange es keine eigene Gruppe für GPTBot gibt. Steht eine eigene Gruppe in der Datei, folgt GPTBot nach RFC 9309 nur dieser und ignoriert die Sterngruppe.
Wie prüfe ich, ob ein Zugriff wirklich von GPTBot kommt?
Vergleichen Sie die IP-Adresse aus dem Log mit den Bereichen, die OpenAI unter openai.com/gptbot.json veröffentlicht. Der User-Agent allein beweist nichts, weil jeder Client ihn frei angeben kann.
Löscht OpenAI Inhalte, die schon gecrawlt wurden?
Dazu macht die Crawler-Dokumentation von OpenAI keine Angabe. Die robots.txt regelt künftige Abrufe.
Muss ich ChatGPT-User auch sperren?
ChatGPT-User ruft Seiten auf Wunsch einer Person ab. OpenAI weist darauf hin, dass für diese Abrufe die robots.txt unter Umständen nicht gilt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
