# User-Agent: Détermine le spider utilisé pour les règles définies après à l'aide de Disallow.
# User-Agent: *  => les règles s'appliquent à tous les robots.
# User-Agent: Nom du robot => (par exemple Googlebot). Les règles s'appliquent seulement au robot spécifié.
# Disallow => Détermine quel répertoire ou fichier Exclure lors de l'indexation pour le robot déclaré dans User-Agent
# Disallow: 	=> Aucune page n'est exclue par le spider. Toutes les pages du site peuvent être indexées.
# Disallow: / 	=> Tout le site est exclu. Permet d'interdire l'indexation pour un robot spécifique.
# Disallow: /repertoire/ 	=> Désactive l'indexation des répertoires. /repertoire/, /repertoire/sousrep/, /repertoire/page.html ne seront pas explorés.

User-agent: *
Disallow: /

# Rover is a bad dog <http://www.roverbot.com>
# User-agent: Roverbot
# Disallow: /