Robots.txt

Eine Textdatei die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website gecrawlt werden dürfen und welche nicht.