In vielen Systemen liegen sitemap.xml und robots.txt als Dateien auf dem Server. Contao erzeugt beide beim Aufruf. Die Contao Sitemap wird seit Version 4.11 nicht mehr als statische Datei geschrieben. Sie entsteht, wenn jemand die Adresse /sitemap.xml aufruft, und wird danach im HTTP-Cache gehalten [2]. Auch die robots.txt ist in Contao eine Route, deren Inhalt dynamisch zusammengesetzt wird [1]. Für die Pflege heißt das: Die Einstellungen liegen in der Seitenstruktur, und wer tiefer eingreifen will, braucht eine kleine Erweiterung.
Wie die sitemap.xml in Contao entsteht
Den Aufbau der Sitemap übernimmt der SitemapController von Contao. Während er arbeitet, löst er das Ereignis contao.sitemap aus. Darüber können Entwickler das XML der Sitemap verändern und mit der Hilfsmethode addUrlToDefaultUrlSet eigene Adressen hinzufügen. Das Ereignis weiß auch, für welche Startpunkte die Sitemap gebaut wurde [1]. Fehlen in Ihrer Sitemap also Adressen, die eine Erweiterung erzeugt, ist das der Weg, sie nachzutragen.
Das Handbuch beschreibt nicht im Einzelnen, welche Seiten Contao aufnimmt. Rufen Sie deshalb nach dem Einrichten einmal https://ihre-domain.de/sitemap.xml auf und vergleichen Sie die Liste mit den Seiten, die in die Suchergebnisse sollen. Seiten mit noindex, Weiterleitungen und geschützte Bereiche gehören nicht hinein. Google empfiehlt, in der Sitemap die kanonischen Adressen der Seiten zu führen, die in den Ergebnissen erscheinen sollen [4].
Für die Kontrolle bringt Contao mit dem Befehl contao:crawl einen eigenen Crawler mit. Er folgt den Links aus der sitemap.xml und beachtet die robots.txt. Er arbeitet mit zwei mitgelieferten Auswertungen: search-index aktualisiert die eingebaute Suche, broken-link-checker sucht nach toten Links. Ohne weitere Angabe laufen beide [3]. Damit haben Sie eine schnelle Probe, ob die Sitemap die Seiten enthält, die Sie erwarten, und ob die Links darin funktionieren.
Was Google mit der Sitemap anfängt
Für die Google Suche zählen wenige Angaben. Die Werte priority und changefreq ignoriert Google. Das Datum lastmod nutzt Google nur, wenn es durchgehend stimmt und sich überprüfen lässt. Die Adressen müssen vollständig sein, mit Protokoll und Domain. Eine einzelne Sitemap darf unkomprimiert höchstens 50 MB groß sein oder 50.000 Adressen enthalten, größere Mengen werden aufgeteilt [4].
Einreichen können Sie die Sitemap im Bericht Sitemaps der Search Console oder über eine Zeile Sitemap in der robots.txt. Laut Google darf diese Zeile an beliebiger Stelle der Datei stehen [4]. Allgemeines zum Aufbau einer Sitemap steht im Ratgeber XML-Sitemap erstellen, typische Fehlermeldungen und ihre Ursachen erklärt Sitemap-Fehler beheben.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Eigene Anweisungen in der robots.txt
Im Startpunkt der Website gibt es das Feld Individuelle robots.txt-Anweisungen. Dort tragen Sie eigene Direktiven für die Adresse /robots.txt der Domain ein [5]. Drei Bedingungen nennt das Handbuch. Die Eingabe erfolgt im Startpunkt der Fallback-Sprache. Für eine Domain lässt sich die robots.txt nur einmal festlegen. Und liegt im Hauptverzeichnis schon eine echte Datei robots.txt, liefert der Webserver diese aus, das Feld bleibt dann wirkungslos [5]. Im Betrieb mit mehreren Domains ist das Feld besonders praktisch, weil jede Domain eigene Direktiven bekommen kann [6].
Ob Contao die Zeile mit der Sitemap von selbst in die robots.txt schreibt, nennt das Handbuch nicht. Prüfen Sie es nach dem Einrichten im Browser. Fehlt die Zeile, ergänzen Sie im Feld eine Angabe wie Sitemap: https://ihre-domain.de/sitemap.xml. Wer Einträge per Programm erzeugen will, etwa für mehrere Bots, nutzt das Ereignis contao.robots_txt. Es liefert das Objekt der dynamisch erzeugten robots.txt, in das eine Erweiterung eigene Einträge schreiben kann [1].
Was die robots.txt leisten kann
Die robots.txt steuert, welche Bereiche Crawler abrufen. Sie ist laut Google kein Mittel, um eine Seite aus den Suchergebnissen herauszuhalten. Eine gesperrte Adresse kann trotzdem erscheinen, nur ohne Beschreibung. Wer eine Seite nicht im Index haben will, setzt noindex oder schützt sie mit einem Passwort [7]. In Contao heißt das: Für einzelne Seiten ist das Robots-Tag im Seitenformular der richtige Ort, für ganze Bereiche der Zugriffsschutz für Mitglieder. Eine Seite mit noindex darf in der robots.txt nicht gesperrt sein. Google kann das noindex sonst nicht lesen, die Regel wirkt nur auf abrufbaren Seiten [9].
Die Regeln der Datei, mit User-agent, Disallow und Allow, erklärt der Ratgeber robots.txt richtig schreiben. Häufige Fehler sammelt robots.txt-Fehler vermeiden. Wer Crawler von KI-Anbietern gezielt zulassen oder aussperren will, findet die Einträge in der Meldung KI-Crawler in der robots.txt steuern. Die Begriffe stehen kurz erklärt im Glossar unter robots.txt und XML-Sitemap.
Mehrere Domains und Sprachen
Laufen mehrere Websites in einer Contao-Installation, hat jede ihren eigenen Startpunkt mit eigenem Domainnamen. Die robots.txt pflegen Sie dann je Domain im Startpunkt der jeweiligen Fallback-Sprache [5, 6]. Auch das Ereignis contao.sitemap führt mit, für welche Startpunkte eine Sitemap gebaut wurde [1]. Prüfen Sie bei mehreren Domains deshalb jede Domain für sich: /robots.txt und /sitemap.xml unter jeder Domain aufrufen und darauf achten, dass dort nur Adressen dieser Domain stehen.
Bei mehrsprachigen Websites kann die Sitemap auch die Sprachfassungen einer Seite verbinden. Google nennt dafür drei gleichwertige Wege: link-Elemente im HTML, HTTP-Header und Einträge in der Sitemap [10]. Wie die Einträge in der Sitemap aussehen, erklärt der Ratgeber hreflang in der Sitemap. Ob die Sitemap Ihrer Contao-Website solche Einträge enthält, hängt von den eingesetzten Erweiterungen ab. Ein Blick in die Datei zeigt es.
Häufige Fehler nach einem Umzug auf Contao
Nach einem Wechsel des Systems kann eine alte Datei robots.txt im Hauptverzeichnis liegen bleiben. Contao kann seine eigenen Anweisungen dann nicht ausliefern, und Änderungen im Startpunkt haben keine Wirkung [5]. Ähnlich gefährlich ist ein Disallow: / aus der Testphase, das beim Livegang im Feld stehen bleibt. Es sperrt die ganze Website für Crawler.
Der dritte Fehler betrifft die Search Console. Dort ist manchmal noch die Sitemap des alten Systems eingetragen, mit einer Adresse, die es nicht mehr gibt. Löschen Sie den alten Eintrag und reichen Sie /sitemap.xml neu ein. Wer bei der Gelegenheit die Domain wechselt, plant den Umzug am besten mit der Leistung Domain-Umzug.
Nach jeder Änderung prüfen
Weil Contao die Sitemap im HTTP-Cache hält, zeigt der erste Aufruf nach einer Änderung womöglich noch den alten Stand. Das Handbuch zu mehrsprachigen Websites beschreibt, wie sich der Anwendungs-Cache der Produktivumgebung erneuern lässt: über den Contao Manager oder auf der Kommandozeile mit cache:clear und cache:warmup [8]. Ob das auch den HTTP-Cache der Sitemap leert, sagt das Handbuch nicht. Danach gehen Sie so vor:
- /robots.txt im Browser öffnen und die eigenen Anweisungen sowie die Sitemap-Zeile kontrollieren.
- /sitemap.xml öffnen und nach Seiten suchen, die nicht hineingehören.
- Mit contao:crawl die Links prüfen lassen.
- In der Search Console den Bericht Sitemaps aufrufen und die Sitemap neu einreichen, wenn sich viel geändert hat.
Weitere Einstellungen für Suchmaschinen, vom Seitentitel bis zur kanonischen URL, beschreibt der Ratgeber Contao SEO-Einstellungen. Wie wir eine ganze Contao-Website prüfen, steht auf der Seite Contao SEO Agentur.
Ihre Contao-Sitemap enthält Seiten, die dort nicht stehen sollten, oder die robots.txt zeigt nicht, was Sie eingetragen haben? Bringen Sie die Frage in die gratis Sprechstunde mit. Dort sehen wir gemeinsam auf die beiden Adressen.
- Organisation Events (contao.sitemap, contao.robots_txt). Contao Entwickler-Dokumentation 5.x. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Contao 4.11.0 is available. Contao Association. Stand 17.02.2021. abgerufen am 31.10.2026
- Organisation contao:crawl. Contao Handbuch 5.x. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Sitemap erstellen und einreichen. Google Search Central. Stand 08.07.2026. abgerufen am 31.10.2026
- Organisation Website-Startseite. Contao Handbuch 5.x. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Website-Startseite. Contao Handbuch 4.x. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Einführung in robots.txt. Google Search Central. Stand 10.12.2025. abgerufen am 31.10.2026
- Organisation Mehrsprachige Webseiten. Contao Handbuch 5.x. Stand ohne Datum. abgerufen am 31.10.2026
- Organisation Indexierung mit noindex blockieren. Google Search Central. Stand 10.12.2025. abgerufen am 31.10.2026
- Organisation Lokalisierte Versionen Ihrer Seiten. Google Search Central. Stand 21.09.2026. abgerufen am 31.10.2026
Häufige Fragen
Wo liegt die sitemap.xml in Contao?
Seit Contao 4.11 gibt es keine Datei mehr auf dem Server. Contao erzeugt die Sitemap beim Aufruf von /sitemap.xml und hält sie im HTTP-Cache.
Wo trage ich in Contao eigene robots.txt-Regeln ein?
Im Startpunkt der Website im Feld Individuelle robots.txt-Anweisungen, und zwar im Startpunkt der Fallback-Sprache. Je Domain geht das nur einmal.
Warum zeigt meine Contao-Website die Einträge aus dem Startpunkt nicht an?
Meist liegt im Hauptverzeichnis noch eine echte Datei robots.txt. Der Webserver liefert dann diese aus, und das Feld im Startpunkt bleibt wirkungslos.
Kann ich mit der robots.txt eine Seite aus Google entfernen?
Nein. Google kann eine gesperrte Adresse trotzdem anzeigen, nur ohne Beschreibung. Setzen Sie im Seitenformular das Robots-Tag noindex und lassen Sie die Seite für Crawler erreichbar.
Muss ich die Sitemap bei Google anmelden?
Hilfreich ist es. Sie können die Sitemap im Bericht Sitemaps der Search Console einreichen oder eine Zeile Sitemap in die robots.txt schreiben.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.
