Nicht jeder URL-Aufruf geht zu Lasten des Crawl-Budgets, das Google einer Website einräumt. 400er-Fehler wie zum Beispiel 404er werden nicht vom Crawl-Budget abgezogen.
Anzeige
Wenn eine Website viele Crawling-Fehler verursacht, muss dass nicht zu Lasten des Crawl-Budgets gehen. Google wertet nämlich HTTP-Antworten unterschiedlich. Eine Liste der Codes und ihr Bezug zum Crawl-Budget hat jetzt Kenichi Suzuki von Google auf LinkedIn veröffentlicht.
- Status 1xx: informative Antwort - kein Einfluss auf das Crawl-Budget
- Status 2xx: Erfolg - verbraucht Crawl-Budget
- Status 3xx: Weiterleitung: verbraucht Crawl-Budget per "Hop", also per Schritt auf der Weiterleitungsstecke
- Status 4xx: nicht indexierbar - verbraucht kein Crawl-Budget.
- Status 5xx: Serverfehler: nicht indexierbar und führt zur Verlangsamung des Crawlings. Verbraucht Crawl-Budget.
Das bedeuet: Mit Blick auf das Crawl-Budget muss man sich keine Sorgen machen, wenn es auf einer Website viele 4xx-Fehler gibt. Serverfehler sind dagegen gleich doppelt problematisch: Sie führen zu einer Verlangsamung des Crawlens und verbrauchen zusätzlich noch Crawl-Budget.
