Yahoo-Slurp gedrosselt

Den wild gewordenen Yahoo-Bot unter Ecstasy-Einfluß (siehe: Bots außer Kontrolle) kann man relativ gut mit folgendem Statement in der "robots.txt" zügeln (zumindest sein Temperament, nicht jedoch seine Fantasie beim Erfinden von URLs):

User-agent: Slurp
Crawl-delay: 600

Nach ca. 1-2 Tagen Wartezeit scheint Yahoo die robots.txt gefressen zu haben und pollt nur noch in größeren Abständen (in diesem Fall wie angegeben mind. 600 Sekunden, d.h. 10 Minuten). Lediglich Google scheint sich um solch eine Anweisung (natürlich nicht mit "Slurp" ) einen feuchten Scheißdreck zu kümmern. Wozu auch, ist ja schließlich der Platzhirsch.

    04.03.2008 · vormittags · Webzeug

1 Kommentar

1.    Arne schrieb am 06.03.2008 um 20:33 Uhr:
   
   Danke für den Hinweis.
   Der Bot ist ja wirklich sehr hippelig.
   
   
   
   

Kommentar hinzufügen

Alle Angaben sind freiwillig! Aber falls etwas eingetragen wird, dann bitte sinnvolle (!) Werte. Name:
eMail (wird nicht angezeigt):
Website:
SpamProtector (was?): Drücke den zweiten Wert: A:    B:
Kommentar: HTML ist nicht erlaubt. URLs werden automatisch umgewandelt.

Thematisch dazu passend:

1. Bots außer Kontrolle (7 Kommentare)
2. Creating User-Friendly URLs (0 Kommentare)
3. saubere Links (0 Kommentare)
4. Optimizing URLs for Google (1 Kommentar)
5. Tag der Bildung (1 Kommentar)