robots.txt – Wegweiser für die Webcrawler (Bots)
Das man mit der robots.txt bestimmen kann, welche Suchroboter (Spider) welche Dateien und Ordner einer Website einlesen dürfen, ist ja ein alter Hut. Um gezielt zu steuern, welche Suchmaschine welche Inhalte spidern darf, ist die robots.txt nach wie vor das
Keine Kommentare