Share this post

Das man mit der robots.txt bestimmen kann, welche Suchroboter (Spider) welche Dateien und Ordner einlesen dĂŒrfen, ist ja ein alter Hut. Um gezielt zu steuern, welche Suchmaschine welche Inhalte spidern darf, ist die robots.txt nach wie vor, gut geeignet.

Doch dieser Einsatz der robots.txt ist neu, wenn auch nicht ganz ernst gemeint:

Robots.txt mal anders genutzt

Quelle:
evisibility.com/blog/robotstxt-protecting-since-1994/
(07/2015: Quelle ist leider nicht mehr erreichbar.)

Willkommen im 21. Jahrhundert 😉

Andere BeitrÀge

9. DEZEMBER 2008

Webdesigner trinken gern Bier…?

Wer sich privat oder beruflich mit Webdesign...

8. JUNI 2009

Eigene Homepage erstellen leicht gemacht

Heutzutage hat fast jeder, der regelmĂ€ĂŸig...

Hinterlasse einen Kommentar