Stand: 31.10.2026. Apple betreibt mit Applebot einen eigenen Webcrawler. Seine Daten speisen Suchfunktionen auf iPhone, iPad und Mac und können auch in das Training von Apples KI-Modellen einfließen. Für Website-Betreiber, die das Training ausschließen, in der Suche aber sichtbar bleiben möchten, hat Apple einen zweiten Namen für die robots.txt eingeführt: Applebot-Extended. Dieser Ratgeber erklärt, wie die beiden Namen zusammenhängen, was ein Eintrag bewirkt und wie Sie echte Zugriffe von Apple erkennen.
Was Applebot sammelt und wofür
Laut Apples Supportseite fließen die Daten von Applebot in Funktionen wie die Suchtechnik von Spotlight, Siri und Safari [1]. Außerdem schreibt Apple: "The data crawled by Applebot may also be used to help train Apple foundation models" [1]. Diese Modelle stehen hinter generativen KI-Funktionen in Apple-Produkten, die Seite nennt Apple Intelligence, Services und Developer Tools [1].
Apple hat seine Basismodelle am 10.06.2024 in einem Beitrag seiner Forschungsabteilung vorgestellt. Darin steht, dass die Trainingsdaten auch öffentlich verfügbare Daten umfassen, die Applebot gesammelt hat [2]. Im selben Beitrag schreibt Apple, dass Website-Betreiber die Nutzung ihrer Inhalte für das Training von Apple Intelligence über eine Steuerung ausschließen können [2]. Apple betont dort außerdem, für das Training keine privaten Daten oder Interaktionen seiner Nutzer zu verwenden [2].
Was Applebot-Extended tut
Applebot-Extended ist kein eigener Crawler. Apple schreibt ausdrücklich: "Applebot-Extended does not crawl webpages" [1]. Der Name dient allein dazu, festzulegen, wie Apple die Daten verwenden darf, die Applebot abgerufen hat [1]. Apple beschreibt ihn als zweiten User-agent, der Website-Betreibern zusätzliche Kontrolle gibt [1].
Daraus folgt eine Arbeitsteilung, die man kennen sollte. Ob eine Seite überhaupt abgerufen wird, regeln Sie über Applebot. Ob Apple die abgerufenen Inhalte für generative KI nutzen darf, regeln Sie über Applebot-Extended. Wer nur Applebot-Extended sperrt, sieht in seinen Logdateien also weiterhin Zugriffe von Applebot. Das ist gewollt und kein Zeichen dafür, dass die Regel ignoriert wird.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Keine Folgen für Suche und Ranking
Die wichtigste Frage für Unternehmen beantwortet Apple klar. "Webpages that disallow Applebot-Extended can still be included in search results", heißt es auf der Supportseite [1]. Und weiter: "Site rules for Applebot-Extended are not considered in ranking for Search" [1]. Eine Sperre von Applebot-Extended kostet Sie nach Apples Angaben also keine Sichtbarkeit in den Suchfunktionen.
Welche Faktoren Apple beim Ranking berücksichtigt, steht ebenfalls auf der Seite. Apple nennt die gesammelte Interaktion der Nutzer mit Suchergebnissen, die Relevanz der Seite für die Suchbegriffe, Zahl und Qualität der Links von anderen Seiten, ungefähre Standortsignale der Nutzer und Merkmale der Seitengestaltung [1]. Das sind vertraute Größen aus der Suchmaschinenoptimierung. Wer seine Website für Google pflegt, deckt damit vieles ab, was auch für die Suche auf Apple-Geräten zählt.
So sieht der Eintrag aus
Apple zeigt auf der Supportseite ein Beispiel, das nur einen Teil der Website vom Training ausnimmt: "User-agent: Applebot-Extended" und darunter "Disallow: /private/" [1]. Wollen Sie die ganze Website ausnehmen, schreiben Sie "Disallow: /". Der Block für Applebot selbst bleibt davon unberührt.
Einige Eigenheiten von Applebot sollten Sie dabei kennen. Nennt Ihre robots.txt Applebot nicht, wohl aber den Googlebot, folgt Applebot den Anweisungen für den Googlebot [1]. Eine Regel, die Sie nur für Google geschrieben haben, kann also auch Apple betreffen. Die Angabe Crawl-delay beachtet Applebot nicht: "Applebot does not follow crawl-delay" [1]. Auf Seitenebene liest Applebot Robots-Meta-Angaben wie noindex, nosnippet und nofollow. Bei noindex nimmt Applebot die Seite nicht auf, und sie erscheint weder in Spotlight noch in den Siri-Vorschlägen [1].
Rendering und blockierte Ressourcen
Applebot kann Seiten wie ein Browser darstellen. Sind JavaScript, CSS oder andere Ressourcen per robots.txt gesperrt, kann Applebot den Inhalt nach Apples Angabe womöglich nicht richtig darstellen [1]. Das betrifft vor allem Websites, die ihre Inhalte erst im Browser zusammensetzen. Halten Sie die Verzeichnisse für Skripte und Stile deshalb für Applebot offen, auch wenn Sie das Training über Applebot-Extended ausschließen.
Echte Zugriffe von Apple erkennen
Im User-agent meldet sich der Crawler mit der Kennung "Applebot/0.1" und einem Verweis auf apple.com/go/applebot [1]. Weil sich jeder Bot so nennen kann, beschreibt Apple zwei Prüfwege. Zugriffe von Applebot lassen sich in der Regel per Reverse-DNS über die Domain applebot.apple.com bestätigen. Alternativ gleichen Sie die IP-Adresse mit den Adressbereichen ab, die Apple als JSON-Datei unter search.developer.apple.com/applebot.json veröffentlicht [1]. Wie Sie solche Zugriffe in Ihren Logdateien finden, zeigt KI-Crawler im Server-Log erkennen.
Vergleich mit Google und OpenAI
Apple ist mit diesem Aufbau nicht allein, die Anbieter lösen die Trennung von Suche und Training aber unterschiedlich. Google nutzt mit Google-Extended ebenfalls einen eigenen Namen für die robots.txt ohne eigenen Crawler. Er regelt das Training künftiger Gemini-Modelle und das Grounding in Gemini-Apps und Vertex AI und hat laut Google keinen Einfluss auf die Aufnahme in die Google-Suche [3]. OpenAI trennt dagegen über echte, getrennte Crawler: GPTBot für das Training und OAI-SearchBot für die Suche in ChatGPT [4].
| Name | Eigener Crawler? | Regelt |
|---|---|---|
| Applebot-Extended | nein, nutzt die Daten von Applebot [1] | Nutzung für Apples generative Modelle |
| Google-Extended | nein, Steuerzeichen in der robots.txt [3] | Training von Gemini und Grounding außerhalb der Suche |
| GPTBot | ja [4] | Training der Basismodelle von OpenAI |
Für die Praxis heißt das: Bei Apple und Google steht der Trainingsausschluss in einem eigenen Block, der keinen Crawler aussperrt. Bei OpenAI sperren Sie einen echten Crawler, der dann gar nicht mehr abruft. Wer mehrere Anbieter ausschließen möchte, braucht für jeden den richtigen Namen.
Sperren oder zulassen?
Die Entscheidung über Applebot-Extended ist leichter als bei manchen anderen KI-Crawlern, weil Apple die Suche ausdrücklich ausnimmt. Wer seine Texte nicht in Apples KI-Training geben möchte, kann Applebot-Extended sperren, ohne um die Sichtbarkeit in Siri oder Spotlight zu fürchten. Wer dagegen möchte, dass Apples generative Funktionen das eigene Angebot kennen, lässt den Eintrag offen. Für die meisten Unternehmen geht es dabei weniger um Technik als um die Frage, wem sie ihre Texte zur Verfügung stellen wollen.
Wichtiger ist nach unserer Erfahrung der Blick auf den Applebot selbst. Eine alte Sammelregel oder eine Sperre, die eigentlich nur dem Googlebot galt, kann eine Website ungewollt aus der Apple-Suche nehmen. Die Abwägung für alle KI-Crawler beschreibt KI-Crawler blockieren oder zulassen, die Grundlagen der Datei der Ratgeber robots.txt richtig schreiben. Ein Eintrag im Kartendienst von Apple ist ein eigenes Thema, das unser Fachportal unter Apple Karten Eintrag erklärt.
Sie sind nicht sicher, ob Ihre robots.txt Applebot oder nur Applebot-Extended sperrt? Stellen Sie die Frage in der gratis Sprechstunde, dort besprechen wir sie mit Ihnen.
- Organisation About Applebot. Apple Support. Stand 04.09.2026. abgerufen am 31.10.2026
- Organisation Introducing Apple's On-Device and Server Foundation Models. Apple Machine Learning Research. Stand 10.06.2024, Nachtrag 29.07.2024. abgerufen am 31.10.2026
- Organisation Google's common crawlers (Google-Extended). Google Search Central. Stand 30.10.2026. abgerufen am 31.10.2026
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 31.10.2026
Häufige Fragen
Crawlt Applebot-Extended meine Website?
Nein. Apple schreibt, dass Applebot-Extended keine Webseiten crawlt. Der Name legt nur fest, wie Apple die Daten nutzen darf, die Applebot gesammelt hat.
Verschwinde ich aus Siri und Spotlight, wenn ich Applebot-Extended sperre?
Nein. Laut Apple können Seiten, die Applebot-Extended sperren, weiterhin in Suchergebnissen erscheinen, und die Regel wird beim Ranking nicht berücksichtigt.
Was passiert, wenn meine robots.txt Applebot gar nicht nennt?
Dann folgt Applebot den Anweisungen für den Googlebot, sofern es welche gibt. Eine Regel nur für Google kann also auch Apple betreffen.
Kann ich die Abrufrate von Applebot mit Crawl-delay bremsen?
Nein. Apple schreibt ausdrücklich, dass Applebot die Angabe Crawl-delay nicht beachtet.
Wie prüfe ich, ob ein Zugriff wirklich von Apple kommt?
Per Reverse-DNS über die Domain applebot.apple.com oder durch Abgleich der IP-Adresse mit der Liste, die Apple unter search.developer.apple.com/applebot.json veröffentlicht.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
