T-Offline-Spider?

Ach, und weiß zufällig irgendwer, wie man die Spider von T-Online erkennen kann (welche IP-Adresse oder User-Agent)? Oder woher bezieht diese Suchmaschine ihre Daten?

Wäre recht hilfreich, damit diesen Spidern nur selektierter Inhalt vorgeworfen werden kann...

    07.04.2003 · beim Frühstück · Webzeug

2 Kommentare

1.    Sanníe schrieb am 07.04.2003 um 16:16 Uhr:
   
   Jaja, auch nur Titten-Anfragen über brisbane.t-online?
   
   Ich habe da mal angefragt, weil ich die gerne ausschließen wollte: Sie nutzen die Ergebnisse vom FAST-WebCrawler.
   
   
   
2.    Pepino schrieb am 07.04.2003 um 16:21 Uhr:
   
   na immerhin mal eine kleine Hilfe... nur der doofe Fast-WebCrawler kommt maximal 1-2 Mal am Tag vorbei... kann also noch dauern...
   
   
   

Kommentar hinzufügen

Alle Angaben sind freiwillig! Aber falls etwas eingetragen wird, dann bitte sinnvolle (!) Werte. Name:
eMail (wird nicht angezeigt):
Website:
SpamProtector (was?): Drücke den ersten Wert: A:    B:
Kommentar: HTML ist nicht erlaubt. URLs werden automatisch umgewandelt.

Thematisch dazu passend:

1. List of User-Agents (1 Kommentar)
2. Spider-Addresses (2 Kommentare)
3. T-Online Phishing (3 Kommentare)
4. search engine control (5 Kommentare)
5. theplanet.com (9 Kommentare)