interdire l’accès à un fichier ou à un répertoire aux robots des moteurs de recherche

Article publié dans: Systèmes & réseaux, sécurité informatique le jeudi 8 mars 2007 à 16:01 par Valérie Senecat
Lu 599 fois | 0 commentaire(s)

Lorsque vous désirez interdire aux robots des moteurs de recherche l’accès à un fichier ou à un répertoire de votre site, il suffit de créer un fichier robots.txt et de le placer à la racine de votre site. Ce fichier contient des commandes dont la syntaxe est relativement simple :

#robots.txt pour le site http://www.monsite.com User-agent: *
User-agent:*
Disallow: /rep/sousrep/
Disallow: /fichier.html
Disallow: /
Disallow:

- La commande User-agent :* signifie que la requête s’applique à tous les moteurs. Si un robot est spécifié à la place de l’étoile, alors seul ce robot n’aura pas accès aux pages et répertoires du sites énumérés.
- La ligne suivante indique aux robots de ne pas visiter :

Dans la même rubrique

Toutes les rubriques

Numérisation
Logiciels et programmation
Suivi du site Transversale
Vu Ailleurs (sur le web)...
Standards, modèles, formats d’échange...
Référencement, moteurs de recherche, classements internationaux
Conception graphique, ergonomie et webdesign
Enjeux, aspects juridiques et sociaux, évolution des métiers, formation continue...
Publication scientifique et édition en ligne
Blogoshpère Académique
Systèmes & réseaux, sécurité informatique

Nuage de mots

droit d’auteur ajax java php xml colloques Contenus Endnote humour i-conf lodel Métadonnées Optimisation peer commentary peer review pratiques pédagogiques Refworks validation scientifique Vidéo blog CMS ENT Flash gestion bibliographique Outil Spip Wiki Editions critiques Hal Université couleur css Ergonomie Evolution du web Expérience utilisateur Google Interface riche Internet explorer tests Web 2.0 webdesign

Veille

Nos sites

Site réalisé avec SPIP | squelette Inter.not 1.0 | Admin | Webmestre | Suivre la vie du site RSS 2.0

Créative Commons : Les publications sur Transversale sont mises à disposition selon le Contrat Paternité-Partage des Conditions Initiales à l'Identique 2.0 France
Creative Commons License