Was ist eine robots.txt Datei
Die robots.txt ist eine Textdatei, welche gerade bei der Indexierung von Website-Inhalten wichtig ist. Mit der Datei kann von dem Webmaster festgelegt werden, welche der Unterseiten von einem Crawler wie beispielsweise dem Googlebot erfasst und indexiert werden sollen und welche nicht. Aus diesem Grund ist die robots.txt auch für die Suchmaschinenoptimierung sehr interessant.
