Aide au référencement

Vous allez me dire que cela est normal pour un robot. Oui, mais, lorsque le nombre de requêtes vers robots.txt excèdent largement le nombre de requêtes vers les autres fichiers du serveur, je me pose des questions...

Détails de la signatures de VoilaBot BETA 1.2 :

natcrawlbloc03.net.m1.fti.net - - 14/Feb/2008:07:43:31 +0200 "GET /robots.txt HTTP/1.1" 200 1939 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1.2 (http://www.voila.com/)"

Détails des requêtes de VoilaBot vers www.referencement-fr.com le 13/02/2008 :

• 333 requêtes vers robots.txt
• 184 requêtes vers d'autres fichiers

VoilaBot est toujours en version bêta. Depuis combien... d'années ?

J'aurais préféré que ce moteur fasse une requête HEAD pour détecter une modification du robots.txt, pour soit, si modification, effectuer une requête GET, dans le cas contraire continuer à crawler le site.

Pour ma part, je trouve illogique que des lectures du robots.txt excèdent la lecture d'autres fichiers. Je précise que mon fichiers robots.txt est conforme, et testé.

Ne trouvant pas logique le travail du robot de Voila, j'ai écrit à leur webmaster pour signaler cette incohérence.

Si au moins ce moteur de recherche m'amenait autant de visite qu'en provenance de Google ou de Yahoo; mais c'est de loin (de très loin) d'être le cas...

Les robots de Google et de Yahoo effectuent énormément moins de requêtes vers mon fichier robots.txt

J'attends la réponse de Voila.

Et vous, combien de visiteurs en moyenne, et par jour le moteur de recherche Voila vos amène t'il ?

Pour informations, le robot VoilaBot consulte tous les jours mon annuaire généraliste francophone. Si vous avez un site, soumettez-le pour que VoilaBot l'indexe !