Viele Webmaster regen sich immer wieder über den Slurp auf - den Spider von Yahoo. Bei größeren Seiten kann es durchaus vorkommen, dass der Bot permanent auf der Webpräsenz rumkriecht und neben einiger Performance auch ne Menge Traffic für sich in Anspruch nimmt.
Da insbesondere in Deutschland die über Yahoo generierten Besucher im Verhältnis zu sonstigen Trafficquellen meist einen äußerst geringen (man könnte schon fast sagen: vernachlässigbaren) Anteil des Gesamttraffics ausmachen, steht das Verhältnis von Anfragen durch den Slurp-Bot und dem dadurch erzielten Nutzen für den Webmaster bzw. Seitenbetreiber in einem ziemlichen Missverhältnis. Man kann es also niemandem verübeln, wenn der Bot einfach ganz ausgeschlossen wird, z. B. über die robots.txt:
User-agent: Slurp
Disallow: /
Aber nicht immer muss man so drastische Maßnahmen ergreifen. Yahoo bietet es auch an, die Zugriffszeit bzw. das Zugriffsintervall über die robots.txt mit zu steuern. Das ganze geschieht über das Crawl-delay. Zum Beispiel erlaubt es der Eintrag
User-agent: Slurp
Crawl-delay: 5
dem Slurp, nur alle 5 Sekunden eine Abfrage zu starten. Man kann das natürlich auch variieren und die 5 durch andere Zahlen ersetzen. Je höher die Zahl ist, desto seltener erfolgen logischerweise Requests vom Slurp.
Natürlich sollte man die Zahl nicht zu hoch setzen, wenn man viele Unterseiten hat, die in den Yahoo-Index sollen. Aber wie bereits erwähnt: durch die derzeitige Marktposition Yahoo"s und des daraus resultierenden Traffics auf die eigenen Projekte fällt das wohl kaum wirklich ins Gewicht.
