Robots.txt

Was ist die Robots.txt?

Die Robots.txt - ist eine Textdatei im Hauptverzeichnis einer Website. Mit der Robots.txt können Anweisungen für die Robots der Suchmaschinen formuliert werden.

So können beispielsweise bestimmte Bereiche einer Website oder auch Bilder von der Erfassung durch Robots ausgeschlossen werden.

Weitere Begriffe:

Robots

Suchmaschinen