Simuliere ob Googlebot oder andere Crawler deine URLs crawlen dürfen. Paste deine robots.txt und teste beliebige Pfade sofort.
Tipp: Du findest deine robots.txt unter https://deine-domain.de/robots.txt
Nur den Pfad eingeben, z.B. /blog/artikel
User-agent: Googlebot
Gibt an, für welchen Crawler die folgenden Regeln gelten. * gilt für alle Crawler.
Disallow: /admin/
Verbietet den Crawler-Zugriff auf diesen Pfad und alle Unterseiten.
Allow: /admin/logo.png
Allow hat Vorrang vor Disallow wenn beide auf eine URL passen und die Pfadlänge gleich ist.
Passende Tools und Artikel: