Das Tool zum Begrenzen der Crawl-Rate aus der Google Search Console wird zum heutigen 8. Januar eingestellt. Google kann die Crawl-Rate selbst am besten an die jeweiligen Bedingungen anpassen.
Wie im November angekündigt stellt Google zum heutigen 8. Januar das Tool zum Begrenzen der Crawl-Frequenz ein. Mit diesem Tool konnten Website-Betreiber das Crawlen durch Google reduzieren, etwa bei einer hohen Auslastung des Webservers.
Sie benötigen SEO-Beratung für Ihre Website?
Das Tool wurde allerdings nur von wenigen genutzt - viele kennen es nicht einmal. Und außerdem ist Google selbst sehr gut in der Lage, Probleme von Webservern zu erkennen, und reduziert zum Beispiel automatisch das Crawlen, wenn es beim Abruf von Inhalten vemehrt zu Serverfehlern kommt. Auch bei sich verlängernden Antwortzeiten des Webservers reagiert Google automatisch mit einem Absenken des Crawlens.
Für Websites, für die per Crawl Limiter Tool eine geringere Crawl-Rate eingestellt ist, wird Google eine geringere Mindestcrawlrate ansetzen.
