search engine control

Seit einiger Zeit (ich denke mal so ein paar Wochen) hat sich hier im Pepilog bzgl. Suchmaschinen was geändert:

ich mag keine "cached Site" vom Pepilog in keiner Suchmaschine. => NOARCHIVE in den Meta-Tags
die Index-Seite ändert sich ständig, deshalb macht es IMHO keinerlei Sinn, diese von den Suchmaschinen in deren Index aufnehmen zu lassen. Die Besucher über Suchmaschinen würden auf der Index-Seite eh nicht finden, was sie suchen => NOINDEX auf der Index-Seite, eine Umleitung auf die interne Such-Seite mit den gesuchten Begriffen bei Besuchern von Suchmaschinen geschieht ASAP
ansonsten darf jede Suchmaschine bzw. deren Spider (oder Robot) jedem Link folgen. Die "lieben" Spider tun das auch. Und "die Bösen" folgen dem versteckten Link auf die Spam-Falle...

Nachtrag:
Suchmaschinen-Umleitung bei Aufruf der Index-Seite ist nun aktiv!

29.07.2003 · am frühen Nachmittag · Intern

5 Kommentare

Martin schrieb am 06.09.2003 um 21:00 Uhr:

www.archive.org archiviert auch Seiten... als ich eben nachgeguckt habe war zwar nur eine Seite im Index, die man nicht aufrufen konnte, aber sicherheitshalber würde ich das in die robots.txt übernehmen:

User-agent: ia_archiver
Disallow: /

Siehe www.archive.org
Martin schrieb am 06.09.2003 um 21:04 Uhr:

Ach ja, was meinst du mit "Suchmaschinen-Umleitung bei Aufruf der Index-Seite"? Als ich mir eben als Googlebot (2.1) www.pepilog.de angeguckt habe ist nichts passiert, oder werden Suchmaschinen an der IP erkannt? Welche Indexseite ist gemeint? Und wohin werden sie umgeleitet?
Pepino schrieb am 07.09.2003 um 01:25 Uhr:

tja, lieber Martin, soooooo einfach kann man hier nix überlisten
Martin schrieb am 07.09.2003 um 16:14 Uhr:

Bei den letzten 30 Spidern bin ich aber aufgetaucht
Pepino schrieb am 07.09.2003 um 18:13 Uhr:

Das ist ein anderes System