Discussion :

[SPACHFR]

Bonjour,

J'ai créé un fichier robot.txt établissant les règles de ce qui doit être vue ou non des moteurs de recherches.

Cependant je me demande si je doit laisser l'accès à ce fichier ?
Ex.
http://www.unExemple.com/robot.txt

Cette URL sur mon site affiche le contenu du fichier robot.txt et ainsi une partie de la définition de l'arborescence de celui-ci.

j'envisage de bloquer l'accès au robot.txt en renvoyant sur un page type 404.

Si je fais cette redirection cela va il empêcher l'indexation par les moteurs de recherches et ou l'accès à ce fichier par les crawler ?

Merci

[Muchos]

Cependant je me demande si je doit laisser l'accès à ce fichier ?

Oui, il faut laisser l'accès à ce fichier. Il n'y a aucune raison de le cacher
Par exemple, voici le robots.txt de DVP.

[SPACHFR]

Merci pour cette info et cette réponse claire.