Google-Extended taucht in vielen robots.txt-Dateien auf, oft ohne dass jemand genau sagen kann, was der Eintrag eigentlich abschaltet. Die kurze Antwort: Google-Extended ist ein Produkt-Token, also ein Name, den Sie in der Zeile "User-agent:" verwenden. Damit legen Sie fest, ob Google Inhalte, die es ohnehin crawlt, für das Training künftiger Gemini-Modelle und für das sogenannte Grounding nutzen darf [1]. Die Google-Suche, AI Overviews und den AI Mode regelt dieser Eintrag nicht. Dieser Ratgeber zeigt, wie das Token entstanden ist, wie Google es heute beschreibt und wo die Grenzen liegen.
Woher das Token kommt
Google hat Google-Extended am 28.09.2023 in einem Beitrag von Danielle Romain (VP Trust) angekündigt [2]. Damals ging es um Bard und die generativen APIs von Vertex AI. Websitebetreiber sollten wählen können, ob ihre Inhalte helfen, diese Modelle mit der Zeit genauer und leistungsfähiger zu machen. Als Weg nannte Google von Anfang an die robots.txt [2]. Im selben Beitrag kündigte Google an, mit der Web- und KI-Gemeinschaft an weiteren maschinenlesbaren Möglichkeiten für Wahl und Kontrolle der Verlage zu arbeiten [2].
Die heutige Beschreibung steht in der Übersicht der Google-Crawler auf Google Search Central, Stand 30.10.2026 [1]. Wer ältere Anleitungen liest, findet dort oft noch die Produktnamen von 2023. Maßgeblich ist der aktuelle Text der Crawler-Dokumentation.
Was Google heute dazu schreibt
Google nennt Google-Extended "a standalone product token", mit dem Verlage steuern, ob Inhalte "for training future generations of Gemini models" verwendet werden dürfen [1]. Dazu kommt das Grounding. Google beschreibt es als Bereitstellung von Inhalten aus dem Index der Google-Suche an das Modell zum Zeitpunkt der Anfrage, um Faktentreue und Relevanz zu verbessern [1]. Gemeint ist also beides: Training auf Vorrat und das Nachschlagen in dem Moment, in dem jemand Gemini eine Frage stellt.
Zwei weitere Sätze aus derselben Dokumentation sind für die Praxis entscheidend. Erstens heißt es dort, Google-Extended "doesn't have a separate HTTP request user agent string". Gecrawlt wird mit den bekannten User-Agents von Google [1]. Im Server-Log finden Sie deshalb nie einen Besucher namens Google-Extended. Zweitens beeinflusst das Token laut Google weder die Aufnahme einer Website in die Google-Suche, noch wird es als Rankingsignal verwendet [1].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
So sieht der Eintrag aus
Wer das Training und das Grounding für die ganze Website ausschließen will, legt in der robots.txt eine eigene Gruppe an. Die erste Zeile lautet "User-agent: Google-Extended", die zweite "Disallow: /". Wer nur einzelne Bereiche ausnehmen will, etwa einen Fachartikelbereich, schreibt statt des Schrägstrichs den Pfad, zum Beispiel "Disallow: /fachartikel/".
Ein paar Regeln aus der Norm RFC 9309 helfen beim Schreiben. Crawler vergleichen den Namen in der Zeile "User-agent:" ohne Rücksicht auf Groß- und Kleinschreibung [3]. Innerhalb einer Gruppe gewinnt die Regel, die am genauesten passt. Sind eine Allow- und eine Disallow-Regel gleichwertig, soll die Allow-Regel verwendet werden [3]. Eine zwischengespeicherte robots.txt sollen Crawler nicht länger als einen Tag verwenden [3]. Eine Änderung wirkt also nicht in der Sekunde, in der Sie die Datei speichern.
Wichtig ist auch, dass die Datei zuverlässig erreichbar ist. Antwortet der Server auf die Anfrage nach der robots.txt mit einem Fehler der 4xx-Reihe, etwa 404, darf ein Crawler laut RFC 9309 auf alle Inhalte zugreifen [3]. Ein Google-Extended-Eintrag in einer Datei, die gar nicht ausgeliefert wird, bewirkt also nichts. Bei Serverfehlern der 5xx-Reihe muss der Crawler dagegen von einer vollständigen Sperre ausgehen [3]. Das trifft dann alle Crawler, auch den Googlebot. Sehr lange Dateien sind ebenfalls ein Risiko: Die Norm verlangt von Crawlern, mindestens 500 Kibibyte einzulesen [3]. Was dahinter steht, wird unter Umständen nicht mehr berücksichtigt.
Prüfen Sie nach jeder Änderung, ob die Gruppen für Googlebot unberührt geblieben sind. Ein versehentliches "Disallow: /" in der falschen Gruppe trifft die normale Suche. Für den Test eignet sich der robots.txt-Tester.
Was der Eintrag nicht regelt
Viele Betreiber setzen Google-Extended, weil sie nicht in AI Overviews erscheinen wollen. Dafür ist das Token der falsche Hebel. Für die KI-Funktionen der Google-Suche gilt laut Google: Eine Seite muss indexiert sein und mit einem Snippet in der Suche erscheinen dürfen, dann kann sie als unterstützender Link in AI Overviews oder im AI Mode auftauchen [4]. Wer einschränken will, was Google aus einer Seite zeigt, greift zu nosnippet, data-nosnippet, max-snippet oder noindex [4]. Den Zugriff des Googlebot regelt weiter die robots.txt [4].
Google-Extended nennt Google in diesem Zusammenhang als Möglichkeit, Training und Grounding in einigen anderen Systemen von Google einzuschränken [4]. Die Suche gehört nicht dazu. Wie Sie AI Overviews für einzelne Seiten zurückdrängen und was das kostet, beschreibt der Ratgeber AI Overviews ausschalten oder verhindern.
Auch rückwirkend wirkt der Eintrag nicht. Die robots.txt beschreibt, was ein Crawler künftig tun soll. Was mit Daten geschieht, die vor der Änderung erfasst wurden, regelt sie nicht. Dazu steht in der Dokumentation von Google zu Google-Extended keine Aussage [1].
Was ab 2027 dazukommt
In der Crawler-Übersicht mit Stand 30.10.2026 kündigt Google an, Anfang 2027 das gemeinsame maschinenlesbare Signal AIPREF für Trainingspräferenzen zu unterstützen [1]. Als Schreibweise nennt Google "user-agent: __usage_ai-training" [1]. Ein genaues Datum und eine Liste von Ländern nennt die Ankündigung nicht. Ob AIPREF Google-Extended ergänzt oder ablöst, sagt Google dort ebenfalls nicht.
Für die Praxis heißt das: Ein vorhandener Google-Extended-Eintrag bleibt bis auf Weiteres der dokumentierte Weg. Sobald Google AIPREF tatsächlich unterstützt und beschreibt, lohnt ein zweiter Blick auf die robots.txt.
Sperren oder offen lassen
Die Entscheidung hängt davon ab, womit Sie Geld verdienen. Ein Verlag, ein Anbieter von Fachdatenbanken oder jemand, der Kurse verkauft, hat gute Gründe, das Training auszuschließen. Ein Handwerksbetrieb oder ein Händler verliert durch einen Google-Extended-Eintrag in der Google-Suche laut Google nichts [1], gewinnt aber auch nichts. Bleibt die Frage, ob Gemini beim Grounding auf die eigenen Seiten zugreifen soll. Wer in Antworten von Gemini als Quelle auftauchen möchte, sollte das gegen den Wunsch abwägen, Inhalte aus dem Training herauszuhalten. Beides hängt am selben Token.
Halten Sie die Entscheidung schriftlich fest, mit Datum und Grund. Wer die robots.txt in zwei Jahren anfasst, etwa beim Relaunch oder beim Wechsel des Hosters, weiß sonst nicht mehr, warum die Gruppe für Google-Extended dort steht. Bei Websites mit mehreren Subdomains lohnt ein Blick auf jede einzelne Datei, denn die Norm sieht die Datei im obersten Verzeichnis des jeweiligen Dienstes vor [3], und dort kann eine andere Regel stehen als auf der Hauptdomain.
Nach unserer Erfahrung entsteht der meiste Ärger durch Sammelregeln, die jemand aus einer Vorlage übernommen hat. Dort stehen Google-Extended, GPTBot und andere KI-Crawler nebeneinander, ohne dass der Betreiber die Folgen kennt. Wie sich die einzelnen Anbieter unterscheiden, zeigt der Ratgeber KI-Crawler blockieren oder zulassen, eine Übersicht aller Bots mit Stand gibt die News KI-Crawler in der robots.txt steuern. Die kurze Antwort für Eilige steht in der FAQ Soll ich KI-Crawler blockieren?, den Begriff erklärt das Glossar unter KI-Crawler.
Wie SEO NW Unternehmen bei der Sichtbarkeit in KI-Suchen begleitet, einschließlich der Entscheidung über Crawler und Tokens wie Google-Extended, steht auf der Seite zu SEO Agentur und Suchmaschinenoptimierung, kurz GEO.
Sie sind nicht sicher, ob Ihre robots.txt Google-Extended sperrt und ob das zu Ihrem Geschäft passt? Stellen Sie die Frage in der gratis Sprechstunde, dort besprechen wir sie mit Ihnen.
- Organisation Google's common crawlers (Google-Extended). Google Search Central. Stand 30.10.2026. abgerufen am 31.10.2026
- Organisation An update on web publisher controls. Google (Danielle Romain). Stand 28.09.2023. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation AI features and your website. Google Search Central. Stand 10.12.2025. abgerufen am 31.10.2026
Häufige Fragen
Ist Google-Extended ein eigener Crawler?
Nein. Google beschreibt es als Produkt-Token für die robots.txt ohne eigenen User-Agent. Gecrawlt wird mit den bekannten Crawlern von Google, deshalb taucht Google-Extended nie im Server-Log auf.
Verliere ich Rankings, wenn ich Google-Extended sperre?
Laut Google beeinflusst das Token weder die Aufnahme in die Google-Suche, noch dient es als Rankingsignal. Ihre Sichtbarkeit in der normalen Suche bleibt davon unberührt.
Verschwinde ich damit aus den AI Overviews?
Nein. Für AI Overviews und den AI Mode gelten die Regeln für Googlebot und die Snippet-Steuerung wie nosnippet oder max-snippet. Google-Extended betrifft Training und Grounding für Gemini.
Was ist Grounding?
Google beschreibt Grounding als Bereitstellung von Inhalten aus dem Index der Google-Suche an das Modell zum Zeitpunkt der Anfrage. Das Modell soll damit genauere und passendere Antworten geben.
Was ist AIPREF?
Ein gemeinsames maschinenlesbares Signal für Trainingspräferenzen. Google will es nach eigener Ankündigung Anfang 2027 unterstützen, mit der Schreibweise "user-agent: __usage_ai-training". Ein genaues Datum nennt Google nicht.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
