robots.txt
Werkzeuge der Suchmaschinen (SuMa) sind ständig im Einsatz und suchen das Netz nach Inhalten ab. Viel wird dafür getan, damit die eigenen Seiten auch gefunden und indiziert werden. Allerdings gibt es auch Bereiche, aus denen man Suchmaschinen ausschließen muss bzw. möchte. Zum Beispiel Seiten, die noch im Aufbau und nur kurzfristig online sind sowie Bilderverzeichnisse, Logfiles oder Verzeichnisse, die private bzw. heikle Inhalte führen.
Dafür eignet sich eine Datei “robots.txt”, die per FTP ins Hauptverzeichnis hochgeladen wird. Sie wird in einem Texteditor erstellt und setzt sich folgend zusammen:
…den ganzen Beitrag lesen »







