Article publié dans:
Systèmes & réseaux, sécurité informatique
le jeudi 8 mars 2007 à 16:01
par
Valérie Senecat
Lu 599 fois
| 0 commentaire(s)
Lorsque vous désirez interdire aux robots des moteurs de recherche l’accès à un fichier ou à un répertoire de votre site, il suffit de créer un fichier robots.txt et de le placer à la racine de votre site. Ce fichier contient des commandes dont la syntaxe est relativement simple :
#robots.txt pour le site http://www.monsite.com User-agent: *
User-agent:*
Disallow: /rep/sousrep/
Disallow: /fichier.html
Disallow: /
Disallow:
La commande User-agent :* signifie que la requête s’applique à tous les moteurs. Si un robot est spécifié à la place de l’étoile, alors seul ce robot n’aura pas accès aux pages et répertoires du sites énumérés.
La ligne suivante indique aux robots de ne pas visiter :