robots.txt mal anders genutzt
von admin am Aug.21, 2009, unter Allgemein gespeichert.
Das man mit der robots.txt bestimmen kann, welche Suchroboter (Spider) welche Dateien und Ordner einlesen dürfen, ist ja ein alter Hut. Um gezielt zu steuern, welche Suchmaschine welche Inhalte spidern darf, ist die robots.txt nach wie vor, gut geeignet.
Doch dieser Einsatz der robots.txt ist neu, wenn auch nicht ganz ernst gemeint:
Robots.txt mal anders genutzt
Quelle:
http://www.evisibility.com/blog/robotstxt-protecting-since-1994/
Willkommen im 21. Jahrhundert 
Noch keine Kommentare...
Kommentar hinterlassen
Partner
