Aide au référencement

Pourquoi l'utiliser?

Il y a deux raisons principales pour demander à un robot de ne pas visiter un site ou une partie d'un site :

1. Certains robots sont particulièrement gourmands en bande passante. Laisser envahir son site par les robots d'un moteur de recherche qui n'apporte pas de visiteur peut donc être coûteux et inutile, si la bande passante est limité par l'hébergeur.
2. Les moteurs de recherche n'aiment pas les doublons. Si un moteur de recherche deux pages avec un contenu similaire, il va soit négliger les pages contenant les doublons, soit pénaliser l'ensemble du site pour ce qui peut passer pour une tricherie pour améliorer le référencement.

Protection du site

Comme indiqué plus haut, le fichier robots.txt demande aux robots des moteurs de recherche de ne pas visiter certaines partie ou tout un site. robots.txt ne fait que communiquer une liste d'adresse aux robots visiteurs en les invitant à ne pas y accéder. Il n'empêche pas la visite du site par les robots malveillants qui ne voudront pas suivre ces instructions.

On ne peut donc, en aucun cas, utiliser robots.txt pour protéger des fichiers sensibles.