Wenn du eine Website mit Dutzenden oder Hunderten von Seiten betreibst, stößt du früher oder später auf ein Konzept, das viele Websitebetreiber unterschätzen: das Crawl-Budget. Es bestimmt, wie viele Seiten deiner Website Google innerhalb eines bestimmten Zeitraums crawlt — und hat damit direkten Einfluss darauf, welche Inhalte überhaupt in den Suchergebnissen erscheinen. In diesem Artikel erfährst du, was das Crawl-Budget genau ist, warum es wichtig ist, und mit welchen Maßnahmen du es effektiv optimieren kannst.
Was ist das Crawl-Budget?
Das Crawl-Budget bezeichnet die Anzahl der URLs, die Googlebot innerhalb eines bestimmten Zeitfensters von deiner Website crawlt und indexiert. Google teilt jedem Server ein bestimmtes Crawl-Budget zu, das von zwei Faktoren abhängt:
- Crawl-Rate-Limit: Wie schnell Googlebot deine Seite crawlen kann, ohne den Server zu überlasten. Google passt dies automatisch an, wenn dein Server langsam reagiert.
- Crawl-Nachfrage: Wie oft Google eine URL crawlen möchte, basierend auf Popularität (Backlinks, Traffic) und wie häufig sich der Inhalt ändert.
Das Crawl-Budget ist das Produkt dieser beiden Faktoren. Vereinfacht gesagt: Je mehr Seiten deine Website hat und je begrenzter das Budget, desto wichtiger ist es, dass Googlebot seine Zeit nicht mit unwichtigen oder duplizierten URLs verschwendet.
Wann ist das Crawl-Budget relevant?
Für kleine Websites mit unter 1.000 Seiten ist das Crawl-Budget in der Regel kein Problem. Google crawlt diese Seiten vollständig, solange keine gravierenden technischen Fehler vorliegen. Relevant wird es bei:
- Großen Websites mit tausenden Seiten (E-Commerce, Portale, Nachrichtenseiten)
- Websites mit vielen dynamisch generierten URLs (Filterfunktionen, Session-IDs, Tracking-Parameter)
- Seiten mit vielen duplizierten oder minderwertigem Inhalt
- Neuen Websites, die schnell indexiert werden sollen
Selbst bei mittelgroßen Websites lohnt sich eine Crawl-Budget-Optimierung, da sie die Indexierungsgeschwindigkeit neuer Inhalte verbessert und sicherstellt, dass Google die richtigen Seiten crawlt.
Warum verschwendet Google sein Crawl-Budget?
Googlebot kann sein Budget auf verschiedene Arten verschwenden — meistens ohne böse Absicht, sondern schlicht wegen technischer Unordnung auf der Website. Die häufigsten Crawl-Budget-Fresser sind:
1. URL-Parameter und Session-IDs
Wenn deine Website URLs mit Parametern generiert, kann eine einzige Seite in hunderten Varianten erscheinen — obwohl der Inhalt identisch ist. Klassische Beispiele:
https://shop.de/produkt?color=rot&size=M&sort=preishttps://shop.de/produkt?session=abc123https://shop.de/produkt?utm_source=newsletter
Jede dieser URLs sieht für Googlebot wie eine eigene Seite aus. Das Ergebnis: Das Crawl-Budget wird auf sinnlose URL-Varianten verschwendet, anstatt echte Inhalte zu crawlen.
2. Duplizierter Inhalt
Seiten, die denselben oder sehr ähnlichen Inhalt haben, verbrauchen Crawl-Budget, ohne zum Ranking beizutragen. Typische Quellen für Duplikate sind Druckversionen von Seiten, mobile Subdomains (m.domain.de), oder Kategorie-Seiten mit überlappendem Inhalt. Hier hilft es, Canonical-Tags korrekt einzusetzen, damit Google die bevorzugte URL erkennt.
3. Veraltete und gelöschte Seiten
Wenn Googlebot viele URLs crawlt, die mit 404 (Not Found) oder 410 (Gone) antworten, verschwendet er Zeit. Regelmäßiges Audit und das korrekte Entfernen toter Links aus internen Verlinkungen helfen hier.
4. Sehr langsame Serverantworten
Wenn dein Server langsam antwortet, reduziert Google automatisch die Crawl-Rate, um ihn nicht zu überlasten. Das bedeutet: weniger Seiten werden gecrawlt. Die Verbesserung der Website-Geschwindigkeit verbessert also direkt das Crawl-Budget.
5. Faceted Navigation ohne Kontrolle
E-Commerce-Websites mit Filterfunktionen sind besonders betroffen. Ein Shop mit 50 Produkten, 5 Farben und 4 Größen kann theoretisch 1.000+ URL-Kombinationen generieren — die meisten davon wertlos für das Ranking.
Crawl-Budget optimieren: Die wichtigsten Maßnahmen
1. robots.txt gezielt einsetzen
Die einfachste Methode, um Crawl-Budget zu sparen: Unerwünschte URL-Bereiche über robots.txt sperren. Typische Kandidaten für ein Crawl-Verbot sind:
- Admin-Bereiche (
/admin/,/wp-admin/) - Staging-Umgebungen und Test-Seiten
- Suchergebnis-Seiten deiner eigenen Website (
/search?q=) - Login- und Checkout-Seiten
- Duplicate Content durch Parameter (
?sort=,?page=)
Wichtig: robots.txt verhindert das Crawlen, nicht das Indexieren. Wenn andere Seiten auf eine gesperrte URL verlinken, kann Google sie trotzdem indexieren. Für Seiten, die nicht indexiert werden sollen, braucht es zusätzlich ein noindex-Tag.
# Beispiel robots.txt — Crawl-Budget sparen
User-agent: Googlebot
Disallow: /admin/
Disallow: /checkout/
Disallow: /search/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?session=2. Sitemap sauber halten
Deine sitemap.xml ist ein Wegweiser für Googlebot. Sie sollte nur URLs enthalten, die tatsächlich indexiert werden sollen:
- Keine 404-Seiten, Weiterleitungen oder gesperrten URLs in der Sitemap
- Nur kanonische URLs (nicht duplicate Varianten)
- Aktuelle
lastmod-Daten für häufig aktualisierte Seiten - Prioritäten realistisch setzen (nicht alle Seiten mit 1.0)
Mit unserem kostenlosen Sitemap-Validator kannst du deine sitemap.xml auf genau diese Fehler prüfen.
3. URL-Parameter in der Google Search Console verwalten
In der Google Search Console kannst du unter "Crawling" → "URL-Parameter" festlegen, wie Googlebot mit bestimmten Parametern umgehen soll. Du kannst Parameter als "keine neuen Inhalte" markieren, damit Google Varianten einer URL nicht separat crawlt.
Allerdings ist diese Funktion etwas in den Hintergrund gerückt — Google versteht Parameter inzwischen besser automatisch. Als ergänzende Maßnahme bleibt sie aber sinnvoll.
4. Interne Verlinkung optimieren
Googlebot folgt internen Links, um neue Seiten zu entdecken. Eine saubere interne Verlinkungsstruktur hilft dem Bot, Prioritäten zu setzen:
- Wichtige Seiten von vielen anderen Seiten verlinken (erhöht Crawl-Priorität)
- Tote Links (auf gelöschte Seiten) regelmäßig bereinigen
- Keine Links auf gesperrte oder noindex-Seiten setzen
- Redirect-Ketten vermeiden — direkt auf die finale URL verlinken
5. Noindex für unwichtige Seiten
Seiten, die nicht in den Suchergebnissen erscheinen sollen, sollten mit <meta name="robots" content="noindex"> versehen werden. Googlebot crawlt sie dann zwar noch, indexiert sie aber nicht — und nach einiger Zeit reduziert Google die Crawl-Frequenz für diese Seiten automatisch.
Typische Kandidaten für noindex:
- Tag-Seiten und Archiv-Seiten mit wenig Inhalt
- Filterergebnis-Seiten ohne eigenständigen Mehrwert
- Danke-Seiten nach Formular-Abschluss
- Seiten mit dünnem Inhalt (unter 300 Wörter, reine Listen)
6. Servergeschwindigkeit verbessern
Je schneller dein Server antwortet, desto mehr Seiten kann Googlebot pro Zeiteinheit crawlen. Google passt die Crawl-Rate automatisch an die Serverantwortzeiten an. Konkrete Maßnahmen:
- TTFB (Time to First Byte) unter 200ms anstreben
- Browser-Caching und serverseitiges Caching aktivieren
- Bilder und statische Assets komprimieren
- Ein CDN (Content Delivery Network) nutzen
Die Core Web Vitals geben dir eine gute Orientierung, ob deine Seite schnell genug ist.
Crawl-Budget in der Google Search Console analysieren
Google bietet in der Search Console direkte Einblicke in das Crawl-Verhalten. Dort findest du unter "Einstellungen" → "Crawling" den Crawl-Statistiken-Bericht. Er zeigt:
- Wie viele Seiten Googlebot täglich crawlt
- Welche Dateitypen gecrawlt werden (HTML, CSS, JS, Bilder)
- Antwort-Codes der gecrawlten URLs (200, 301, 404, 500)
- Durchschnittliche Antwortzeiten
Wenn du viele 404-Fehler oder ungewöhnlich viele Crawls auf parametrisierte URLs siehst, hast du ein konkretes Crawl-Budget-Problem identifiziert.
Crawl-Abdeckungsbericht nutzen
Der Abdeckungsbericht in der Search Console zeigt, welche Seiten indexiert sind, welche ausgeschlossen wurden und warum. Typische Ausschlussgründe, die auf Crawl-Budget-Probleme hinweisen:
- "Gecrawlt – derzeit nicht indexiert" — Google hat die Seite gecrawlt, hält sie aber für zu schwach
- "Entdeckt – derzeit nicht indexiert" — Google weiß von der Seite, hat aber noch kein Budget zum Crawlen
- "Duplicate, submitted URL not selected as canonical" — Duplicate-Content-Problem
Crawl-Budget für kleine Websites: Lohnt es sich?
Für Websites unter 500 Seiten ist ein systematisches Crawl-Budget-Management meist nicht notwendig. Trotzdem gibt es Maßnahmen, die sich immer lohnen:
- Eine saubere, aktuelle Sitemap einreichen
- Tracking-Parameter aus internen Links entfernen
- Fehlerhafte URLs (404) zeitnah bereinigen
- robots.txt auf nicht-öffentliche Bereiche anwenden
Diese Grundmaßnahmen verbessern nicht nur das Crawl-Budget, sondern auch die allgemeine technische Gesundheit der Website — und damit indirekt das Ranking.
Checkliste: Crawl-Budget optimieren
- robots.txt überprüfen — werden unnötige Bereiche gesperrt?
- Sitemap enthält nur indexierbare, kanonische URLs
- URL-Parameter identifizieren und in Search Console konfigurieren
- Tote Links in internen Verlinkungen bereinigen
- Noindex für schwache und duplizierte Seiten setzen
- Serverantwortzeiten prüfen (TTFB unter 200ms)
- Crawl-Statistiken in der Search Console regelmäßig prüfen
- Redirect-Ketten auflösen, direkt auf finale URLs verlinken
Fazit
Das Crawl-Budget ist einer der am häufigsten übersehenen Aspekte der technischen SEO-Optimierung. Wer es richtig einsetzt, sorgt dafür, dass Google seine Ressourcen auf die wichtigsten Inhalte der Website konzentriert — und nicht auf duplizierte URLs, tote Links oder parametrisierte Seiten-Varianten.
Die Maßnahmen sind überschaubar: eine saubere robots.txt, eine gepflegte Sitemap, Canonical-Tags für Duplicate Content und eine schnelle Server-Infrastruktur. Zusammen sorgen sie dafür, dass Googlebot effizient arbeitet — und deine neuen Inhalte schneller in den Suchergebnissen auftauchen.
Starte noch heute mit einer kostenlosen SEO-Analyse auf shift07.ai und finde heraus, welche technischen Probleme deiner Website das Crawl-Budget kosten.