Ob KI-Dienste die eigene Website lesen, zeigt das Zugriffsprotokoll des Webservers. Dort hinterlässt jeder Abruf eine Zeile, auch von Crawlern, die kein JavaScript ausführen und deshalb in Matomo oder Google Analytics nie erscheinen. Dieser Ratgeber zeigt, wie Sie KI-Crawler im Log finden, wie Sie echte von gefälschten Zugriffen trennen und was die Zeilen über Ihre Sichtbarkeit in KI-Suchen verraten.
Wie eine Zeile im Log aufgebaut ist
Die meisten Webserver schreiben ihr Zugriffsprotokoll im sogenannten Combined Log Format. Beim Apache-Webserver besteht es aus dem Common Log Format plus zwei Feldern: dem Referer und dem User-Agent [1]. Nginx verwendet ein gleichnamiges Format mit denselben Bestandteilen, und wenn in der Konfiguration kein Format angegeben ist, nutzt nginx dieses vordefinierte "combined" [2].
Für die Suche nach KI-Crawlern zählen vier Felder. Ganz vorn steht die IP-Adresse des Clients. Liegt ein Proxy oder ein CDN vor dem Server, steht dort laut Apache-Handbuch die Adresse des Proxys statt die des eigentlichen Absenders [1]. Dann folgt die Zeit der Anfrage, danach in Anführungszeichen die Anfragezeile mit Methode und Pfad, zum Beispiel "GET /leistungen/ HTTP/1.1", und der Statuscode [1]. Am Ende steht der User-Agent, also die Angabe, mit der sich der Client selbst beschreibt [1].
Nach welchen Namen Sie suchen
Die Anbieter dokumentieren die Kennungen ihrer Crawler. Eine Auswahl, mit der Sie in einer Logdatei beginnen können:
| Name im User-Agent | Anbieter | Zweck laut Anbieter | IP-Liste |
|---|---|---|---|
| GPTBot | OpenAI | Training | openai.com/gptbot.json [3] |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | openai.com/searchbot.json [3] |
| ChatGPT-User | OpenAI | Abruf auf Nutzerwunsch | openai.com/chatgpt-user.json [3] |
| ClaudeBot, Claude-SearchBot, Claude-User | Anthropic | Training, Suchindex, Abruf auf Nutzerwunsch | claude.com/crawling/bots.json [4] |
| PerplexityBot | Perplexity | Suche | perplexity.ai/perplexitybot.json [5] |
| Perplexity-User | Perplexity | Abruf auf Nutzerwunsch | perplexity.ai/perplexity-user.json [5] |
| DuckAssistBot | DuckDuckGo | KI-gestützte Antworten in der Suche | duckduckgo.com/duckassistbot.json [6] |
Der vollständige User-Agent ist meist länger. OpenAI nennt zum Beispiel für GPTBot eine Zeichenkette, die mit "Mozilla/5.0 AppleWebKit/537.36" beginnt und die Kennung "GPTBot/1.4" samt Verweis auf openai.com/gptbot enthält [3]. Suchen Sie deshalb nach dem Namen als Teil der Zeile, nicht nach der ganzen Zeichenkette. Die Versionsnummern ändern sich mit der Zeit.
Einen Namen werden Sie vergeblich suchen: Google-Extended. Google schreibt, dass es dafür keinen eigenen User-Agent gibt und mit den bekannten Google-Crawlern gecrawlt wird [7]. Ob Google Ihre Inhalte für Gemini nutzt, lässt sich im Log deshalb nicht ablesen. Mehr dazu steht im Ratgeber Google-Extended.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Echte Crawler von Nachahmern trennen
Der User-Agent ist eine Selbstauskunft. Das Apache-Handbuch beschreibt ihn als die Angabe, die der Client "reports about itself" [1]. Jedes Skript kann sich also GPTBot oder ClaudeBot nennen. Belastbar wird ein Treffer erst, wenn die IP-Adresse in der Liste des Anbieters steht. OpenAI, Anthropic, Perplexity und DuckDuckGo veröffentlichen solche Listen als JSON-Dateien [3, 4, 5, 6]. Anthropic schreibt dazu ausdrücklich, ein Crawler mit einer Adresse aus seiner Liste komme von Anthropic [4].
Google bietet für seine eigenen Crawler zwei Wege. Der erste ist eine umgekehrte DNS-Abfrage der IP-Adresse mit dem Befehl "host". Der gefundene Name muss auf googlebot.com, google.com oder googleusercontent.com enden. Danach prüfen Sie mit einer Vorwärtsabfrage, ob dieser Name wieder auf dieselbe IP-Adresse zeigt [8]. Der zweite Weg ist der Abgleich mit Googles veröffentlichten Listen, etwa common-crawlers.json oder user-triggered-fetchers.json [8].
Bei größeren Logdateien lohnt ein kleines Skript, das die IP-Listen herunterlädt und jede Zeile mit einem KI-Namen gegen die Bereiche prüft. Laden Sie die Listen dabei regelmäßig neu. Die Datei von Anthropic trug bei unserem Abruf am 31.10.2026 den Zeitstempel 20.10.2026 [4], die Bereiche ändern sich also.
Eine Auswertung in fünf Schritten
- Logdatei besorgen: Viele Hoster bieten die Zugriffsprotokolle im Kundenmenü zum Herunterladen an. Nehmen Sie mindestens einige Wochen, damit seltene Crawler auftauchen.
- Zeilen filtern: Ziehen Sie alle Zeilen heraus, deren User-Agent einen der Namen aus der Tabelle enthält. Ein Textfilter wie "grep" oder eine Tabellenkalkulation reichen dafür.
- Zählen: Ordnen Sie die Treffer nach Crawler und nach aufgerufenem Pfad. So sehen Sie, welche Bereiche der Website am häufigsten gelesen werden.
- Prüfen: Gleichen Sie die IP-Adressen gegen die Listen der Anbieter ab und streichen Sie alles, was nicht passt.
- Vergleichen: Legen Sie das Ergebnis neben Ihre robots.txt. Tauchen gesperrte Crawler in gesperrten Bereichen auf, stimmt entweder die Datei nicht oder es handelt sich um Nachahmer.
Was die Zugriffe verraten
Ein paar Muster lassen sich gut lesen. Ruft ein Crawler regelmäßig nur die robots.txt ab und sonst nichts, ist er vermutlich gesperrt und hält sich daran. Antwortet Ihr Server einem Crawler mit dem Statuscode 403, sperrt ihn wahrscheinlich eine Firewall oder ein Bot-Schutz, obwohl die robots.txt ihn vielleicht zulässt. Das ist ein möglicher Grund dafür, dass eine Website trotz offener robots.txt in KI-Suchen fehlt. Perplexity weist ausdrücklich darauf hin, dass Sie seine Bots in einer Web Application Firewall unter Umständen freischalten müssen [5].
Besonders aufschlussreich sind die Abrufe auf Nutzerwunsch. OpenAI beschreibt ChatGPT-User als Abruf, wenn ein Nutzer in ChatGPT eine Seite besuchen lässt, um eine Frage zu beantworten [3]. Taucht diese Kennung bei einer bestimmten Seite auf, hat dort jemand eine Frage gestellt, bei der Ihre Seite eine Rolle spielte. Das ist kein Klick und kein Besuch eines Menschen, aber ein Hinweis darauf, welche Inhalte gefragt sind. Dasselbe gilt für Claude-User und Perplexity-User.
Die Trainingscrawler sagen dagegen wenig über Ihre Sichtbarkeit. Ein häufiger Besuch von GPTBot heißt nur, dass Ihre Seiten gesammelt werden, nicht, dass sie in Antworten auftauchen.
Vorsicht beim Umgang mit Logdateien
Logdateien enthalten Angaben, die der Client selbst schickt. Das Apache-Handbuch warnt, dass böswillige Clients auf diesem Weg Steuerzeichen in die Logdatei schreiben können, und rät zur Vorsicht beim Umgang mit den Rohdaten [1]. Öffnen Sie große Logdateien deshalb lieber mit einem Werkzeug, das solche Zeichen nicht ausführt, statt sie ungeprüft in einem Terminal auszugeben.
Außerdem stehen in Logdateien IP-Adressen von Menschen, nicht nur von Crawlern. Klären Sie mit Ihrem Hoster, wie lange die Logs aufbewahrt werden und wer darauf zugreifen darf, bevor Sie Auswertungen anlegen. Für die Auswertung genügen die Zeilen der Crawler. Filtern Sie diese heraus und arbeiten Sie nur mit dem Auszug weiter.
Vom Log zur Entscheidung
Nach unserer Erfahrung ist die Auswertung des Logs der schnellste Weg, um Streit über die robots.txt zu beenden. Statt zu vermuten, welche KI-Dienste die Website lesen, sehen Sie es schwarz auf weiß. Danach lässt sich in Ruhe entscheiden, welche Crawler bleiben sollen. Die Abwägung beschreibt der Ratgeber KI-Crawler blockieren oder zulassen. Wie Sie Logdateien allgemein für die Suchmaschinenoptimierung auswerten, zeigt Server-Logs auswerten, und den Begriff erklärt das Glossar unter Logfile-Analyse. Wer zusätzlich die Besucher aus KI-Diensten zählen will, die tatsächlich klicken, findet den Weg im Ratgeber KI-Traffic in Matomo messen.
Logdateien auswerten, Crawler prüfen und die Ergebnisse in die robots.txt übertragen: Das gehört bei SEO NW zum technischen SEO.
Sie haben eine Logdatei vor sich und wissen nicht, wie Sie die Zeilen lesen sollen? Stellen Sie die Frage in der gratis Sprechstunde. Dort besprechen wir Ihre Frage mit Ihnen.
- Organisation Log Files (Apache HTTP Server Version 2.4 Documentation). The Apache Software Foundation. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Module ngx_http_log_module. nginx. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler? und bots.json. Anthropic. Stand 07.04.2026 und 20.10.2026. abgerufen am 31.10.2026
- Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Is DuckAssistBot related to DuckDuckGo?. DuckDuckGo Help Pages. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Google's common crawlers (Google-Extended). Google Search Central. Stand 30.10.2026. abgerufen am 31.10.2026
- Organisation Verifying Googlebot and other Google crawlers. Google Search Central. Stand 20.03.2026. abgerufen am 31.10.2026
Häufige Fragen
Warum sehe ich KI-Crawler nicht in Matomo oder Google Analytics?
Diese Werkzeuge zählen meist über JavaScript im Browser. Crawler rufen nur die Seite ab und führen das Skript in der Regel nicht aus. Im Zugriffsprotokoll des Servers steht dagegen jeder Abruf.
Reicht der User-Agent, um einen KI-Crawler zu erkennen?
Nein. Den User-Agent gibt der Client selbst an. Erst der Abgleich der IP-Adresse mit der Liste des Anbieters zeigt, ob der Zugriff echt ist.
Wo finde ich Google-Extended im Log?
Gar nicht. Google nutzt dafür keinen eigenen Crawler und liest Google-Extended nur als Name in der robots.txt.
Was bedeutet ChatGPT-User im Log?
Ein Abruf, den eine Person in ChatGPT ausgelöst hat, etwa um eine Frage zu beantworten. Es ist ein Hinweis darauf, dass Ihre Seite für eine echte Anfrage geöffnet wurde.
Mein Server antwortet KI-Crawlern mit 403. Was heißt das?
Meist sperrt eine Firewall oder ein Bot-Schutz den Zugriff. Prüfen Sie die Einstellungen beim Hoster, wenn Sie den Crawler eigentlich zulassen wollen.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
