Erstelle kostenlos eine robots.txt Datei und steuere, welche Suchmaschinen deine Seiten crawlen durfen.
Speichere diese Datei als robots.txt im Root-Verzeichnis deiner Website.
Prufe ob deine robots.txt richtig konfiguriert ist und ob Suchmaschinen deine Seiten finden.
Jetzt kostenlos mit Shift07 prufenGibt an, fur welchen Crawler die Regeln gelten. * bedeutet alle Crawler. Du kannst auch spezifische Bots wie Googlebot angeben.
Blockiert den Zugriff auf bestimmte Pfade. Disallow: /admin/ verhindert das Crawling des Admin-Bereichs. Ein leeres Disallow erlaubt alles.
Erlaubt den Zugriff auf bestimmte Pfade, selbst wenn ein uebergeordneter Pfad blockiert ist. Nutzlich fur Ausnahmen.
Verweist Crawler auf deine XML-Sitemap. Hilft Suchmaschinen, alle Seiten deiner Website zu finden und zu indexieren.
Gibt die Wartezeit (in Sekunden) zwischen Requests an. Nutzlich bei schwachen Servern, wird aber nicht von allen Crawlern beachtet.
Die robots.txt muss im Root-Verzeichnis liegen: https://example.com/robots.txt. Nur dort wird sie von Crawlern gefunden.