Robots und Sitemap

Zwei Dateien, die entscheiden, was Suchmaschinen überhaupt zu sehen bekommen. Ein falsches Disallow nimmt eine Seite komplett aus dem Index.