Robots.txt : Définition

Définition : Robots.txt

Il s’agit du nom d’un fichier positionné à la racine d’un site web et qui fournit certaines consignes au robot de moteur de recherche lorsque celui-ci explore le site.

Autoriser et limiter l’indexation du contenu

Grâce au fichier robots.txt il est possible d’autoriser ou non l’indexation de certains contenus du site. Par exemple, si on ne veut pas que telle page ou tel contenu d’un site soit pris en compte par le robot de moteur de recherche, on peut l’indiquer dans le fichier robots.txt. A l’inverse, il est possible d’autoriser certains autres éléments du contenu.

Comment se présente le fichier robots.txt

Ce fichier est relativement facile à comprendre. Dans un premier temps, on indique à qui s’adresse l’instruction, c’est-à-dire à quel robot de moteur de recherche. L’astérisque indique tous les robots, sinon il faut préciser le ou les noms du robot. La formule utilisée est la suivante :User-agent : *ouUser-agent : nom du robotEnsuite il faut indiquer la consigne. Le terme disallow interdit l’indexation, et allow autorise l’indexation. Il faut indiquer le chemin d’accès jusqu’au dossier ou jusqu’à la page :Disallow : /dossier/sous-dossier/Allow : /page.html