Meta betreibt mehrere Crawler, und ihre Namen ähneln sich. Wer in den Server-Logs auf Meta-ExternalAgent stößt, hat den Crawler vor sich, den Meta unter anderem für das Training seiner KI-Modelle einsetzt. Viele Betreiber wollen ihn sperren, fürchten aber, damit auch die Vorschauen geteilter Links auf Facebook oder die Nennung in Meta AI zu verlieren. Dieser Ratgeber ordnet die Crawler von Meta nach ihrer Dokumentation, zeigt die passenden Regeln für die robots.txt und erklärt, welche Folgen eine Sperre hat und welche nicht.
Was Meta über den Crawler schreibt
Meta beschreibt Meta-ExternalAgent in seiner Entwicklerdokumentation "Meta Web Crawlers" so: Der Crawler durchsucht das Web für Anwendungsfälle wie das Training von KI-Basismodellen oder die Verbesserung von Produkten durch direktes Indexieren von Inhalten [1]. Der User-Agent lautet "meta-externalagent/1.1" mit einem Verweis auf die Dokumentation [1].
Die Formulierung ist weiter gefasst als bei manchen anderen Anbietern. Training ist ausdrücklich ein Zweck, aber nicht der einzige. Mit "Verbesserung von Produkten durch direktes Indexieren" lässt Meta offen, in welchen Produkten die abgerufenen Inhalte verwendet werden. Genauere Angaben macht die Dokumentation nicht [1]. Wer den Crawler sperrt, entscheidet also über beides zugleich.
Die Crawler von Meta im Überblick
Die Dokumentation nennt neben Meta-ExternalAgent vier weitere Kennungen [1]. Ihre Aufgaben unterscheiden sich deutlich:
| Kennung | Aufgabe laut Meta | robots.txt |
|---|---|---|
| facebookexternalhit | ruft geteilte Links ab und speichert Titel, Beschreibung und Vorschaubild | kann sie bei Sicherheits- oder Integritätsprüfungen umgehen |
| meta-webindexer | verbessert die Qualität der Suchergebnisse von Meta AI | per Disallow sperrbar |
| meta-externalads | crawlt für Werbung und andere geschäftliche Produkte | per Disallow sperrbar |
| meta-externalagent | Training von KI-Basismodellen oder Verbesserung von Produkten durch direktes Indexieren | per Disallow sperrbar |
| meta-externalfetcher | ruft einzelne Links auf Wunsch eines Nutzers ab, auch für agentische KI-Funktionen | kann sie umgehen |
Für die Frage nach KI sind drei davon wichtig. Meta-ExternalAgent betrifft das Training, meta-webindexer die Websuche von Meta AI, meta-externalfetcher die Abrufe, die ein Nutzer im Gespräch mit der KI auslöst [1]. Die Vorschau geteilter Links übernimmt facebookexternalhit, und meta-externalads arbeitet für das Werbegeschäft [1].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Meta-ExternalAgent in der robots.txt sperren
Meta schreibt, dass Betreiber einen Crawler blockieren, indem sie für ihn eine Disallow-Regel in die robots.txt aufnehmen, und zeigt das am Beispiel von meta-externalagent [1]. Für eine vollständige Sperre stehen zwei Zeilen untereinander: "User-agent: meta-externalagent" und darunter "Disallow: /". Soll nur ein Bereich ausgenommen werden, etwa eine Wissensdatenbank, steht dort der Pfad, zum Beispiel "Disallow: /wissen/".
Die Schreibweise mit Kleinbuchstaben übernimmt die robots.txt aus Metas Beispiel. Die Norm RFC 9309 schreibt ohnehin vor, dass Crawler den Namen ohne Rücksicht auf Groß- und Kleinschreibung vergleichen [2]. "Meta-ExternalAgent" wirkt deshalb genauso. Wichtiger ist die Gruppenlogik: Ein Crawler folgt der Gruppe, deren User-agent-Zeile zu ihm passt, und nur ohne passende Gruppe der Sterngruppe [2]. Eine Sperre in der Sterngruppe trifft Meta-ExternalAgent also nur, wenn es für ihn keine eigene Gruppe gibt.
Bis eine Änderung wirkt, kann es dauern. Meta weist darauf hin, dass Crawler die robots.txt bis zu einem Tag zwischenspeichern können [1]. Was mit Inhalten geschieht, die vor der Sperre abgerufen wurden, beschreibt die Dokumentation nicht [1].
Folgen für Link-Vorschauen und Meta AI
Die häufigste Sorge betrifft geteilte Links. Wenn jemand eine Adresse auf Facebook oder in einer anderen App von Meta teilt, holt facebookexternalhit Titel, Beschreibung und Vorschaubild [1]. Diese Aufgabe hängt nicht an Meta-ExternalAgent. Eine Sperre des KI-Crawlers lässt die Vorschauen deshalb unberührt, solange facebookexternalhit nicht ebenfalls gesperrt wird. Wer die Vorschau gezielt gestalten möchte, findet die Grundlagen im Glossar unter Meta-Tag.
Für die Sichtbarkeit in Meta AI nennt Meta einen anderen Crawler. meta-webindexer durchsucht das Web, um die Suchergebnisse von Meta AI zu verbessern. Ihn in der robots.txt zuzulassen, hilft Meta laut Dokumentation, Inhalte in den Antworten von Meta AI zu zitieren und zu verlinken [1]. Daraus ergibt sich eine Einstellung, die viele Unternehmen suchen: meta-webindexer zulassen, Meta-ExternalAgent sperren. Ob die Sperre von Meta-ExternalAgent über das Indexieren für Produkte trotzdem Auswirkungen auf Meta AI hat, sagt die Dokumentation nicht. Mehr zur Websuche von Meta AI steht im Ratgeber Meta AI und die Websuche.
Abrufe auf Wunsch von Nutzern
meta-externalfetcher arbeitet anders als ein Crawler. Er ruft einzelne Links ab, wenn ein Nutzer darum bittet, auch für agentische KI-Funktionen [1]. Laut Meta kann er dabei die Regeln der robots.txt umgehen [1]. Eine Sperre dieser Kennung in der robots.txt ist deshalb kein verlässlicher Schutz. Ähnlich verhält es sich bei facebookexternalhit, der die Regeln bei Sicherheits- oder Integritätsprüfungen umgehen kann [1]. Inhalte, die niemand außerhalb sehen soll, gehören hinter eine Anmeldung. Die Norm hält fest, dass die robots.txt kein Ersatz für echte Sicherheitsmaßnahmen ist [2].
Training mit Inhalten aus Facebook und Instagram
Meta-ExternalAgent betrifft Inhalte im offenen Web. Davon getrennt ist die Frage, ob Meta öffentliche Beiträge seiner eigenen Plattformen für das Training nutzt. Am 14.04.2025 kündigte Meta an, in der EU öffentliche Inhalte erwachsener Nutzer, etwa öffentliche Beiträge und Kommentare, sowie Fragen an Meta AI für das Training zu verwenden [3]. Nutzer in der EU erhalten laut Meta einen Link zu einem Formular, mit dem sie dieser Nutzung jederzeit widersprechen können [3]. Für die Facebook-Seite eines Unternehmens gilt also ein anderer Weg als für seine Website. Die robots.txt der Website regelt nur, was Metas Crawler dort abrufen.
Ob und wie Unternehmen ihre Facebook-Präsenz weiter pflegen, ist eine Frage der Marketingstrategie. Hilfe dazu gibt es auf unserem Fachportal unter Facebook organisch.
Zugriffe von Meta in den Logs prüfen
In den Zugriffsprotokollen erkennen Sie die Crawler an ihren Kennungen. Ein User-Agent ist aber eine Selbstauskunft, und jedes Programm kann sich meta-externalagent nennen. Für facebookexternalhit empfiehlt Meta, Freigaben entweder nach User-Agent oder, sicherer, nach den IP-Adressen des Crawlers einzurichten [1]. Für Meta-ExternalAgent nennt die Dokumentation keine eigene Liste von IP-Bereichen [1]. Taucht ein Programm mit dieser Kennung trotz Sperre häufig auf, lohnt ein genauer Blick auf Herkunft und Verhalten, bevor Sie es Meta zuordnen. Wie Sie die Protokolle auswerten, zeigt der Ratgeber KI-Crawler im Server-Log erkennen.
Bei der Abwägung hilft ein Blick auf das Geschäftsmodell. Ein Verlag, ein Kursanbieter oder eine Fachdatenbank lebt vom Text selbst und hat gute Gründe, das Training auszuschließen. Ein Handwerksbetrieb oder ein Shop lebt von dem, was der Text beschreibt, und hat eher ein Interesse daran, dass seine Angaben bei Meta richtig ankommen. Eine Übersicht über alle KI-Crawler und ihre Zwecke bietet KI-Crawler blockieren oder zulassen, den Begriff erklärt das Glossar unter KI-Crawler. Jede Änderung prüfen Sie am besten mit dem robots.txt-Tester.
Sie möchten Meta-ExternalAgent sperren, ohne Vorschauen oder Sichtbarkeit in Meta AI zu verlieren? Stellen Sie die Frage in der gratis Sprechstunde, dort beantworten wir Fragen zu Ihrer robots.txt.
- Organisation Meta Web Crawlers. Meta for Developers. Stand ohne Datum. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand 09.2022. abgerufen am 31.10.2026
- Organisation Making AI Work Harder for Europeans. Meta Newsroom. Stand 14.04.2025, aktualisiert 27.03.2026. abgerufen am 31.10.2026
Häufige Fragen
Wofür nutzt Meta den Crawler Meta-ExternalAgent?
Laut Meta für Anwendungsfälle wie das Training von KI-Basismodellen oder die Verbesserung von Produkten durch direktes Indexieren von Inhalten.
Verliere ich die Link-Vorschau auf Facebook, wenn ich Meta-ExternalAgent sperre?
Nein. Die Vorschau holt facebookexternalhit. Solange dieser Crawler nicht gesperrt ist, bleiben Titel, Beschreibung und Vorschaubild erhalten.
Erscheine ich nach einer Sperre noch in Meta AI?
Für Zitate und Links in Meta AI nennt Meta den Crawler meta-webindexer. Bleibt er zugelassen, kann Meta Ihre Inhalte dort weiter zitieren. Ob eine Sperre von Meta-ExternalAgent Meta AI anderweitig beeinflusst, beschreibt Meta nicht.
Wie schnell wirkt eine Sperre?
Meta schreibt, dass Crawler die robots.txt bis zu einem Tag zwischenspeichern können. Danach sollte die neue Regel gelten.
Reicht die robots.txt, um alle Abrufe von Meta zu verhindern?
Nein. meta-externalfetcher und facebookexternalhit können die robots.txt laut Meta in bestimmten Fällen umgehen. Für echten Schutz braucht es eine Anmeldung oder Regeln auf dem Server.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
