Prüft deine robots.txt auf Erlaubnisse für KI-Bots
GPTBot · ClaudeBot · PerplexityBot · Google-Extended · Applebot-Extended · CCBot · OAI-SearchBot
Das Tool liest deine öffentliche robots.txt und analysiert die Regeln für bekannte KI-Crawler.
robots.txt wird geladen und analysiert…
Fehler beim Laden
ChatGPT, Perplexity und Googles AI Overviews nutzen eigene Crawler, um Webinhalte zu indexieren. Ohne explizite Erlaubnis in der robots.txt können diese Systeme deinen Content nicht als Quelle verwenden.
Generative Engine Optimization (GEO) zielt darauf ab, in KI-generierten Antworten als Quelle zitiert zu werden. Der erste Schritt: KI-Crawler nicht blockieren.
GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Bard/Gemini Training), OAI-SearchBot (ChatGPT Search), CCBot (Common Crawl).
Nicht jeder möchte alle KI-Crawler erlauben — besonders bei proprietären Inhalten. Dieses Tool hilft dir, den aktuellen Stand zu sehen und eine informierte Entscheidung zu treffen.
| User-Agent | System | Betreiber | Zweck |
|---|---|---|---|
| GPTBot | ChatGPT | OpenAI | Training & Suche |
| OAI-SearchBot | ChatGPT Search | OpenAI | Echtzeit-Suche |
| ClaudeBot | Claude | Anthropic | Training & Wissen |
| anthropic-ai | Claude (alt) | Anthropic | Training |
| PerplexityBot | Perplexity AI | Perplexity | Suche & Antworten |
| Google-Extended | Bard / Gemini | KI-Training | |
| Applebot-Extended | Apple AI | Apple | Apple Intelligence |
| CCBot | Common Crawl | CC Foundation | Offener Datensatz |
| cohere-ai | Cohere | Cohere | LLM-Training |
| Meta-ExternalAgent | Meta AI | Meta | AI Training |
Nicht nur KI-Crawler — analysiere alle technischen SEO-Faktoren deiner Website kostenlos.
SEO-Analyse starten