Comment-referencer.info

Le fichier "robots.txt" fonctionne sur le même principe que la balise meta "robots" puisqu'il permet de créer des règles de non-indexation. Sa structure est cependant différente.

Exemples :

• Pour empêcher tous les moteurs d'indexer la page "collaboration.html", on notera :

• Pour empêcher le moteur de recherche Google d'indexer toutes les pages contenues dans le répertoire "images" du site, on écrira :

Remarquons que le fichier "robots.txt" doit toujours être placé à la racine du site sans quoi il ne sera pas pris en compte par les moteurs de recherche.

Aucune de ces deux méthodes ne fonctionne mieux que l'autre. Libre à nous de choisir laquelle utiliser en fonction de la facilité à la mettre en place. Par exemple, si nous ne voulons pas référencer des pages dynamiques générées automatiquement par un script, il peut être plus aisé de placer la balise meta "robots" dans le script qui les génère plutôt qu'à chaque fois devoir écrire le nom de cette page dans le fichier "robots.txt".