Robots (Bots) sind automatisierte Rechner, die z.B. von Suchmaschinen-Betreiber genutzt werden, um Homepages in ihren Suchindex aufzunehmen. Aber auch andere Services verwenden Bots, um Informationen über Internetseiten zu sammeln. Mit Hilfe der Datei "robots.txt" können Sie Einfluss auf diese Bots nehmen und z.B. steuern, dass bestimmte Verzeichnisse nicht durchsucht werden oder eben dafür sorgen, dass eine Internetseite gar nicht von Bots durchsucht wird.

Die robots.txt ist eine einfache Textdatei, die Sie mit Notepad oder dem Windows-Editor erstellen können. Folgende Beispiele sollen die Funktionsweise der robots.txt verdeutlichen:

Beispiel 1:
Sie haben in einem Unterverzeichnis eine Bildergalerie mit privaten Bildern abgelegt. Die ist zwar öffentlich zugänglich, aber eine Suchmaschine muss die Bildergalerie nicht unbedingt im Index haben. Dafür würden Sie folgenden Eintrag in die robots.txt vornehmen:

User-agent: *
Disallow: /Bildergalerie/

Der User-agent ist der Name des Bots, das Sternchen ist ein Platzhalter und sagt aus, dass sich alle Bots angesprochen fühlen sollten. Disallow sagt dem Bot, dass der folgende Eintrag nicht beachtet werden soll, in diesem Fall das Verzeichnis "Bildergalerie".

Beispiel 2:
Sie möchten nicht, dass Google Ihre Seite in deren Index aufnimmt.

User-agent:  Googlebot
Disallow: /

Hier steht also, dass nur der Bot von Google die komplette Webpräsenz nicht überprüfen darf.

Beispiel 3:
Ihre Internetseite ist zwar öffentlich zugänglich, soll aber in Suchmaschinen nicht gefunden werden:

User-agent: *
Disallow: /


Haben Sie Ihre robots.txt generiert, speichern Sie die Datei unter dem Namen robots.txt ab und laden diese anschließend mit dem Dateimanager oder per FTP in Ihren Webspace. Die robots.txt muss immer im Hauptverzeichnis liegen, also in dem Verzeichnis, in dem auch die Startseite (index.html, index.php) Ihrer Homepage abgelegt ist.

Hinweise:

• Haben Sie eine Domain auf ein Unterverzeichnis Ihrer Homepage weitergeleitet, muss die robots.txt (auch) in diesem Unterverzeichnis abgelegt werden.
• Die robots.txt wird von allen seriösen Suchmaschinen und Bot-Betreibern berücksichtigt. Eine Missachtung der robots.txt ist aber problemlos möglich und stellt daher keinen Schutz, sondern nur eine Empfehlung für die Bots dar.
• Sie müssen keine robots.txt haben, eine Auflistung bei diversen Suchmaschinen wird dadurch nicht positiv beeinflusst. .