Wer in den Server-Logs nach OpenAI sucht, findet mehrere Kennungen. Zwei davon entscheiden darüber, ob und wie eine Website in ChatGPT auftaucht: OAI-SearchBot und ChatGPT-User. Der eine erfasst Seiten für die Suche, der andere holt Seiten, während jemand im Chat eine Frage stellt. Beide werden oft mit GPTBot verwechselt, der Inhalte für das Training sammelt und eigene Regeln hat. Dieser Ratgeber beschreibt die beiden Such- und Abrufkennungen anhand der Dokumentation von OpenAI und zeigt, wie Sie sie in der robots.txt behandeln.
Zwei Kennungen, zwei Aufgaben
| Kennung | Aufgabe laut OpenAI | robots.txt | IP-Liste |
|---|---|---|---|
| OAI-SearchBot | macht Websites in den Suchergebnissen der Suchfunktionen von ChatGPT sichtbar | wird beachtet, eine Änderung wirkt nach etwa einem Tag | openai.com/searchbot.json |
| ChatGPT-User | ruft Seiten bei Aktionen von Nutzern in ChatGPT und in eigenen GPTs ab | gilt möglicherweise nicht, weil ein Nutzer den Abruf auslöst | openai.com/chatgpt-user.json |
Die Angaben stammen aus der Übersicht der Crawler von OpenAI [1]. Der vollständige User-Agent von OAI-SearchBot enthält neben einer Browserkennung den Teil "compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot", der von ChatGPT-User den Teil "compatible; ChatGPT-User/1.0; +https://openai.com/bot" [1]. Die Versionsnummern können sich ändern. In der robots.txt zählt nur der Name ohne Nummer.
OAI-SearchBot und die Suche in ChatGPT
OpenAI beschreibt den Zweck knapp: OAI-SearchBot wird genutzt, um Websites in den Suchergebnissen der Suchfunktionen von ChatGPT anzuzeigen [1]. Websites, die ihn ausschließen, erscheinen nicht in Suchantworten von ChatGPT, können aber weiterhin als Navigationslinks auftauchen [1]. OpenAI empfiehlt, den Crawler in der robots.txt zuzulassen, wenn eine Website in der Suche erscheinen soll [1].
Wichtig für die Planung ist die Trennung vom Training. Jede Einstellung in der robots.txt wirkt laut OpenAI unabhängig von den anderen. Eine Website kann OAI-SearchBot zulassen und GPTBot sperren [1]. Sind beide erlaubt, kann OpenAI die Ergebnisse eines einzigen Abrufs für beide Zwecke verwenden [1]. Wer also in ChatGPT gefunden werden möchte, aber Bedenken gegen das Training hat, muss sich nicht zwischen Sichtbarkeit und Verweigerung entscheiden. Die Einzelheiten zum Trainingscrawler stehen im Ratgeber GPTBot in der robots.txt.
Änderungen wirken nicht sofort. Für die Suchergebnisse nennt OpenAI etwa einen Tag, bis die Systeme eine geänderte robots.txt berücksichtigen [1]. Das deckt sich mit der Norm RFC 9309, nach der Crawler eine zwischengespeicherte robots.txt nicht länger als einen Tag verwenden sollen, außer die Datei ist nicht erreichbar [2].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
ChatGPT-User: Abrufe im Auftrag von Nutzern
ChatGPT-User ist kein Crawler im üblichen Sinn. OpenAI ordnet ihn Aktionen von Nutzern in ChatGPT und in eigenen GPTs zu und schreibt, dass er nicht für automatisches Crawlen genutzt wird [1]. Taucht die Kennung in den Logs auf, hat laut OpenAI vermutlich gerade jemand ChatGPT oder einem eigenen GPT eine Frage gestellt, und das System hat dafür Ihre Seite geholt.
Daraus folgt eine Besonderheit: Weil ein Mensch den Abruf auslöst, gelten die Regeln der robots.txt laut OpenAI möglicherweise nicht [1]. Eine Sperre von ChatGPT-User ist deshalb kein verlässlicher Schutz. Außerdem bestimmt ChatGPT-User nicht, ob Inhalte in der Suche erscheinen können [1]. Das entscheidet allein der Umgang mit OAI-SearchBot.
Gruppen in der robots.txt für typische Ziele
Die meisten Unternehmen wollen in ChatGPT gefunden werden. Dann braucht OAI-SearchBot keinen eigenen Eintrag, solange keine allgemeine Regel ihn aussperrt. Nach RFC 9309 folgt ein Crawler der Gruppe, deren User-agent-Zeile zu seinem Namen passt, und nur wenn keine passt, der Gruppe mit dem Stern [2]. Steht in der Datei eine Sterngruppe mit "Disallow: /", sperrt sie OAI-SearchBot mit. Eine eigene Gruppe mit "User-agent: OAI-SearchBot" und "Allow: /" öffnet die Website dann wieder für ihn.
Soll nur ein Bereich draußen bleiben, etwa ein Kundenportal, steht in der Gruppe "Disallow: /portal/". Mehrere Gruppen für denselben Crawler muss dieser zusammenführen [2]. Den Namen vergleicht er ohne Rücksicht auf Groß- und Kleinschreibung [2]. Ein Fehler, den wir in Prüfungen oft sehen, ist die Versionsnummer in der User-agent-Zeile, etwa "OAI-SearchBot/1.4". Schreiben Sie nur den Namen.
Für ChatGPT-User lohnt ein eigener Eintrag nur, wenn Sie ein Signal setzen wollen. Inhalte, die niemand außerhalb sehen soll, gehören hinter eine Anmeldung. Die Norm sagt selbst, dass die robots.txt kein Ersatz für echte Sicherheitsmaßnahmen ist [2]. Prüfen Sie jede Änderung mit dem robots.txt-Tester.
Echte Zugriffe von OpenAI erkennen
Ein User-Agent ist eine Selbstauskunft. Jedes Programm kann sich OAI-SearchBot nennen. OpenAI veröffentlicht deshalb für jede Kennung eine Liste der IP-Bereiche als JSON-Datei: openai.com/searchbot.json für OAI-SearchBot und openai.com/chatgpt-user.json für ChatGPT-User [1]. Stimmt die IP-Adresse eines Zugriffs mit einem dieser Bereiche überein, kommt er von OpenAI. Beim Abruf der robots.txt selbst kann der User-Agent laut OpenAI zusätzlich die Markierung "robots.txt" enthalten [1].
Die Listen helfen auch bei Firewalls und Diensten zur Abwehr von Bots. Manche Systeme blockieren unbekannte Programme pauschal, und OAI-SearchBot kommt dann nicht an die Seiten, obwohl die robots.txt ihn zulässt. Google weist für seine eigenen KI-Funktionen ausdrücklich darauf hin, dass das Crawling auch von CDNs und der Hosting-Infrastruktur zugelassen sein muss [3]. Für OpenAI bieten die veröffentlichten IP-Bereiche dafür eine Grundlage: Wer die Freigabe daran bindet, lässt den echten Crawler durch und hält Nachahmer draußen.
Die übrigen Kennungen von OpenAI
In derselben Übersicht nennt OpenAI zwei weitere Kennungen [1]. GPTBot sammelt Inhalte, die für das Training der generativen Basismodelle verwendet werden können. Eine Sperre signalisiert, dass die Inhalte einer Website nicht ins Training gehen sollen [1]. OAI-AdsBot besucht nur Zielseiten, die als Anzeige in ChatGPT eingereicht wurden, und prüft deren Sicherheit. Seine Daten werden laut OpenAI nicht für das Training verwendet [1]. Wer keine Anzeigen bei OpenAI schaltet, wird OAI-AdsBot kaum in den Logs finden. Für die Sichtbarkeit in den Antworten spielen beide keine Rolle. Dafür zählt allein, dass OAI-SearchBot die Seiten erreicht.
Was die Abrufe über Ihre Sichtbarkeit verraten
Die beiden Kennungen liefern unterschiedliche Signale. Regelmäßige Besuche von OAI-SearchBot zeigen, dass OpenAI Ihre Seiten für die Suche erfasst. Abrufe von ChatGPT-User zeigen, welche Seiten in konkreten Gesprächen gebraucht werden, auch wenn danach niemand klickt. Klicks aus den Antworten sollten dagegen in der Webanalyse mit einer Herkunft wie chatgpt.com auftauchen.
Matomo kann solche Abrufe inzwischen selbst zählen. Die Liste der Kennungen, die Matomo als KI-Chatbot erkennt, enthält unter anderem ChatGPT-User [4]. Voraussetzung ist eine Erfassung auf dem Server, weil Programme wie ChatGPT-User kein Messskript im Browser ausführen. Wie das geht, zeigt der Ratgeber KI-Traffic in Matomo messen, wie Sie die Rohdaten lesen, der Ratgeber KI-Crawler im Server-Log erkennen. Eine Übersicht über alle KI-Crawler und die Frage, welche Sie zulassen, bietet KI-Crawler blockieren oder zulassen.
Sie möchten wissen, ob OAI-SearchBot Ihre Website erreicht und was Ihre robots.txt heute erlaubt? Stellen Sie die Frage in der gratis Sprechstunde, dort beantworten wir Fragen zu Ihrer robots.txt und zu den Kennungen in Ihren Logs.
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation KI-Funktionen und deine Website. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Install AI chatbot tracking in WordPress. Matomo. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Was passiert, wenn ich OAI-SearchBot sperre?
Ihre Seiten erscheinen laut OpenAI nicht mehr in den Suchantworten von ChatGPT. Als Navigationslink können sie weiterhin auftauchen.
Kann ich ChatGPT-User mit der robots.txt aussperren?
Nicht verlässlich. OpenAI schreibt, dass die Regeln der robots.txt für diese Abrufe möglicherweise nicht gelten, weil ein Nutzer sie auslöst. Inhalte, die geschützt sein sollen, gehören hinter eine Anmeldung.
Sperrt eine Regel für GPTBot auch die ChatGPT-Suche?
Nein. Die Einstellungen sind laut OpenAI unabhängig. Wer GPTBot sperrt und OAI-SearchBot zulässt, bleibt in der Suche sichtbar.
Wie lange dauert es, bis eine Änderung wirkt?
Für die Suchergebnisse nennt OpenAI etwa einen Tag nach der Änderung der robots.txt.
Woran erkenne ich einen gefälschten OAI-SearchBot?
An der IP-Adresse. Echte Zugriffe kommen aus den Bereichen, die OpenAI unter openai.com/searchbot.json veröffentlicht. Liegt die Adresse außerhalb, stammt der Zugriff nicht von OpenAI.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
