Stand: 31.10.2026. In vielen Server-Logs taucht der Name Amazonbot auf, und viele Website-Betreiber wissen nicht recht, was der Bot dort will. Amazon hat seine Dokumentation inzwischen erweitert und beschreibt drei Crawler mit getrennten Aufgaben. Dieser Ratgeber erklärt, welcher davon was tut, wie Sie jeden einzeln in der robots.txt behandeln und welche Besonderheiten Amazon gegenüber anderen Anbietern hat. Die Seite stützt sich auf Amazons eigene Dokumentation mit Stand 26.10.2026 [1].
Drei Crawler mit eigenen Aufgaben
Die drei Crawler unterscheiden sich vor allem darin, ob ihre Daten für das Training genutzt werden können und wer den Abruf auslöst.
| User-agent | Aufgabe laut Amazon | Training von KI-Modellen |
|---|---|---|
| Amazonbot | verbessert Produkte und Dienste von Amazon, liefert Kunden genauere Informationen | möglich: Daten können zum Training von Amazon-KI-Modellen genutzt werden |
| Amzn-SearchBot | verbessert Suchfunktionen, Inhalte können etwa in Alexa erscheinen | nein, laut Amazon kein Crawlen für das Training generativer Modelle |
| Amzn-User | unterstützt Handlungen von Nutzern, etwa Alexa-Anfragen, die aktuelle Informationen brauchen | nein, laut Amazon kein Crawlen für das Training generativer Modelle |
Zum Hauptcrawler schreibt Amazon: "This helps us provide more accurate information to customers and may be used to train Amazon AI models" [1]. Für Amzn-SearchBot stellt Amazon klar: "Amzn-SearchBot does not crawl content for generative AI model training" [1]. Wer bei Amazon gefunden werden möchte, das Training aber ausschließen will, hat damit eine klare Aufteilung: Amzn-SearchBot zulassen, Amazonbot nach eigener Abwägung regeln.
Was Amazon in der robots.txt beachtet
Laut Dokumentation respektieren die Crawler das Robots Exclusion Protocol, also die Zeilen für User-agent sowie Allow und Disallow [1]. Einige Details weichen von dem ab, was Sie vielleicht von Google gewohnt sind.
Erstens liest Amazon die Datei je Host. Hat eine Domain mehrere Hosts, gelten für jeden die Regeln, die dort hinterlegt sind [1]. Ein Shop auf einer Subdomain braucht also eine eigene robots.txt. Zweitens kann Amazon eine zwischengespeicherte Fassung der Datei aus den letzten 30 Tagen verwenden [1]. Eine Änderung wirkt deshalb nicht sofort. Planen Sie bis zu einen Monat ein, bevor Sie aus den Logdateien Schlüsse ziehen. Drittens beachten die Crawler die Angabe Crawl-delay nicht: "They do not support the crawl-delay directive" [1]. Wenn Amazonbot Ihren Server zu stark belastet, hilft also nur eine Sperre oder eine Drosselung auf dem Server.
Für den häufigsten Wunsch sieht die Datei so aus: ein Block "User-agent: Amzn-SearchBot" mit "Allow: /" und ein Block "User-agent: Amazonbot" mit "Disallow: /". Die Zeilen sind unser Beispiel nach der allgemeinen Syntax der robots.txt in RFC 9309 [2].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Amazon im Vergleich zur Norm und zu anderen Anbietern
Die Regeln der robots.txt sind seit 2022 als RFC 9309 genormt. Die Norm sieht vor, dass Crawler eine zwischengespeicherte Fassung der Datei nicht länger als einen Tag verwenden sollen, außer die Datei ist nicht erreichbar [2]. Amazons Angabe von bis zu 30 Tagen geht deutlich darüber hinaus [1]. Bei Crawl-delay ist die Lage anders: Die Angabe gehört nicht zur Norm, und die Anbieter gehen unterschiedlich damit um. Anthropic unterstützt sie nach eigener Aussage als nicht genormte Erweiterung [3], Amazon dagegen nicht [1].
| Punkt | Amazon | Zum Vergleich |
|---|---|---|
| Zwischenspeicher der robots.txt | bis zu 30 Tage [1] | RFC 9309: höchstens ein Tag, außer bei Nichterreichbarkeit [2] |
| Crawl-delay | nicht unterstützt [1] | Anthropic unterstützt die Angabe [3] |
| Abrufe auf Nutzerwunsch | Amzn-User folgt nicht jeder Anweisung [1] | OpenAI: Regeln gelten für ChatGPT-User unter Umständen nicht [4] |
Eine weitere Regel der Norm betrifft alle Crawler gleichermaßen und wird oft übersehen. Liefert der Server für die robots.txt einen Fehler der 500er-Reihe, müssen Crawler von einer vollständigen Sperre ausgehen. Fehlt die Datei dagegen mit einem Fehler der 400er-Reihe, dürfen sie alles abrufen [2]. Ein überlasteter Server kann also ungewollt alle Bots aussperren.
Meta-Tags und Links
Hier liegt die auffälligste Besonderheit. Amazon beachtet auf Seitenebene die Robots-Meta-Angaben noarchive, noindex und none [1]. Der Wert noarchive hat bei Amazon eine eigene Bedeutung: Er steht laut Dokumentation dafür, die Seite nicht für das Training von Modellen zu verwenden [1]. Damit ist noarchive bei Amazon der Schalter für das Training auf Seitenebene.
Daraus ergibt sich eine feinere Steuerung als mit der robots.txt allein. Wer Amazonbot grundsätzlich zulässt, kann einzelne Seiten mit noarchive vom Training ausnehmen, etwa Fachartikel oder Preisübersichten. Die Werte noindex und none bedeuten bei Amazon, dass die Seite nicht indexiert wird [1]. Auf Linkebene beachten die Crawler außerdem rel=nofollow [1].
Prüfen Sie vor dem Einsatz, welche Folgen noarchive bei anderen Suchmaschinen hat, die Ihre Website ebenfalls besuchen. Die Robots-Meta-Angabe gilt für alle Crawler, wenn Sie sie nicht mit einem Namen auf einen bestimmten Bot begrenzen.
Amazonbot im Log erkennen
Amazonbot meldet sich mit einem User-agent, der die Kennung "Amazonbot/0.1" enthält, eingebettet in eine Zeichenkette, die einem Browser ähnelt [1]. Zur Prüfung, ob ein Zugriff wirklich von Amazon kommt, veröffentlicht Amazon IP-Listen, und zwar getrennt je Crawler: für Amazonbot, für Amzn-SearchBot und für Amzn-User [1]. Die Listen liegen auf developer.amazon.com unter den Pfaden /amazonbot/ip-addresses/, /amazonbot/searchbot-ip-addresses/ und /amazonbot/live-ip-addresses/ [1]. Die Trennung ist praktisch: Sie können zum Beispiel Zugriffe von Amzn-User auf dem Server bremsen, ohne Amzn-SearchBot zu treffen. Ein Verfahren über Reverse-DNS beschreibt die aktuelle Seite nicht. Gleichen Sie verdächtige Zugriffe daher mit den Listen ab, bevor Sie eine Firewall-Regel setzen. Wie Sie die Zugriffe im Log auswerten, beschreibt KI-Crawler im Server-Log erkennen und allgemeiner der Ratgeber Server-Logs auswerten.
Bei Problemen nennt Amazon die Adresse amazonbot@amazon.com und bittet darum, die betroffenen Domains in der Nachricht anzugeben [1].
Sperren oder zulassen?
Für Onlinehändler und Unternehmen mit Bezug zu Amazon-Diensten lohnt der Blick auf Amzn-SearchBot. Seine Aufgabe ist es, Inhalte für Suchfunktionen wie Alexa auffindbar zu machen [1]. Wer ihn aussperrt, verzichtet auf diesen Weg. Bei Amazonbot ist die Frage dieselbe wie bei anderen Trainingscrawlern: Möchten Sie Ihre Texte für das Training eines KI-Modells zur Verfügung stellen? Eine allgemeingültige Antwort gibt es nicht. Wer vom Text selbst lebt, sperrt eher, wer Kunden gewinnen will, wägt anders ab. Die Abwägung für alle KI-Crawler im Zusammenhang steht unter KI-Crawler blockieren oder zulassen.
Nach unserer Erfahrung übersehen viele Betreiber, dass eine Sammelregel unter "User-agent: *" auch Amzn-SearchBot trifft. Prüfen Sie deshalb, ob die Datei für die Crawler, die Sie zulassen möchten, einen eigenen Block hat. Wer Produkte auf dem Marktplatz Amazon besser platzieren möchte, arbeitet an einer anderen Stelle, nämlich an den Produkteinträgen selbst. Das beschreibt unsere Leistung Amazon SEO.
Sie sehen Amazonbot häufig im Log und möchten wissen, ob eine Sperre für Ihre Website sinnvoll ist? Stellen Sie die Frage in der gratis Sprechstunde.
- Organisation Amazon Web Search crawlers (Amazonbot). Amazon Developer. Stand 26.10.2026. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF (Koster, Illyes, Zeller, Sassman). Stand 09.2022. abgerufen am 31.10.2026
- Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic (Claude Help Center). Stand 07.04.2026. abgerufen am 31.10.2026
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Wofür nutzt Amazon den Amazonbot?
Laut Amazon verbessert er Produkte und Dienste und liefert Kunden genauere Informationen. Die Daten können auch zum Training von Amazon-KI-Modellen genutzt werden.
Wie schließe ich das KI-Training aus, ohne bei Alexa unsichtbar zu werden?
Sperren Sie Amazonbot und lassen Sie Amzn-SearchBot zu. Amazon schreibt, dass Amzn-SearchBot keine Inhalte für das Training generativer Modelle crawlt.
Beachtet Amazonbot die Angabe Crawl-delay?
Nein. Amazon schreibt ausdrücklich, dass die Crawler Crawl-delay nicht unterstützen. Eine Drosselung müssen Sie auf dem Server einrichten.
Wie lange dauert es, bis Amazon eine geänderte robots.txt beachtet?
Amazon kann eine zwischengespeicherte Fassung aus den letzten 30 Tagen verwenden. Rechnen Sie also mit bis zu einem Monat.
Was bedeutet noarchive für Amazon?
Bei Amazon heißt noarchive, dass die Seite nicht für das Training von Modellen genutzt werden soll. So lassen sich einzelne Seiten ausnehmen, ohne Amazonbot ganz zu sperren.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
