# Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie: 

<meta name="robots" content="index">
<meta name="robots" content="follow">
<meta name="robots" content="all">
<meta name="revisit-after" CONTENT="10 days">

# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!

# Hier können Sie mit dem "Disallow:" weitere Verzeichnisse direkt schützen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /logs/