#- alle Robots auf alle Dateien zulassen:
User-agent: *
Disallow: /fileadmin/
Disallow: /typo3/
Disallow: /typo3conf/
Disallow: /typo3temp/

#- alle Robots komplett ausschließen:
# User-agent: *
# Disallow: /

# - allen Robots die Indizierung bestimmter Verzeichnisse verbieten:
# User-agent: *
# Disallow: /Verzeichnis1/
# Disallow: /Verzeichnis2/

 
# - allen Robots die Indizierung bestimmter Dateien verbieten:
# User-agent: *
# Disallow: /Verzeichnis1/Datei.html
# Disallow: /Verzeichnis2/Datei.html

# - einen einzelnen Robot ausschließen:
# User-agent: googlebot
# Disallow: /

# googlebot ist einer der Spider von Google
#- einen einzelnen Robot zulassen:
# User-agent: scooter
# Disallow: googlebot

#  Sie können Kommentare in Ihre robots.txt Datei einfügen:
# robot.txt für beispielseite.de