robots.txt - ich weiß, wo du wohnst ;-P

Vor einer Woche wusste ich nicht mal von ihrer Existenz, aber robots.txt, sitemap.xml und .htaccess mögen zwar klein sein, dafür umso wichtiger für eine saubere onpage SEO. So ein kleiner Suchmaschinencrawler will schließlich auch wie ein Besucher nett herumgeführt werden, dann erzählt er auch weiter, wie toll es bei uns ist.