orange Gedanken- und Fotofussel

Werkzeuge der Suchmaschinen (SuMa) sind ständig im Einsatz und suchen das Netz nach Inhalten ab. Viel wird dafür getan, damit die eigenen Seiten auch gefunden und indiziert werden. Allerdings gibt es auch Bereiche, aus denen man Suchmaschinen ausschließen muss bzw. möchte. Zum Beispiel Seiten, die noch im Aufbau und nur kurzfristig online sind sowie Bilderverzeichnisse, Logfiles oder Verzeichnisse, die private bzw. heikle Inhalte führen.

Dafür eignet sich eine Datei “robots.txt”, die per FTP ins Hauptverzeichnis hochgeladen wird. Sie wird in einem Texteditor erstellt und setzt sich folgend zusammen:

Ganze HP für alle SuMa-Robots sperren
# robots.txt für http://www.beispiel.net/
User-agent: *
Disallow: /

Einzelne Verzeichnisse oder Seiten für alle SuMa-Robots sperren
# robots.txt für http://www.beispiel.net/
User-agent: *
Disallow: /logfiles/
Disallow: /bilder
Disallow: news.html

Alle Seiten für bestimmte SuMa-Robots sperren
# robots.txt für http://www.beispiel.net/
User-agent: webimages
Disallow: /

In diesem Sinne sind alle Kombinationen möglich.
Nicht möglich ist es allerdings, ein Verzeichnis mit dieser Datei zu schützen. Sie hält diese Informationen nur für die Robots der Suchmaschinen bereit. Besser eignet sich hier ein Paßwort-Verzeichnisschutz. Suchmaschinen sind auch nicht verpflichtet, sich an diese Anweisungen zu halten, die meisten suchen jedoch bei jedem Besuch diese Datei als erstes auf. Deshalb ist es grundsätzlich gut, eine solche bereit zu stellen.

Alle Seiten für alle SuMa-Robots freigeben
# robots.txt für http://www.beispiel.net/
User-agent: *
Disallow: