Outils de recherche et référencement

Vous vous rappelez mon histoire d'annuaire avec phplinkdirectory ?
Google s'était mélangé les pinceaux avec les urls d'un autre annuaire qui se trouvait dans le même répertoire et que j'avais remplacé par le nouveau.

Impossible de lui faire désindexer les anciennes urls même en utilisant un disallow dans le robots.txt ! J'avais même l'impression qu'il rajoutait des urls fantaisistes.

Au bout de plusieurs mois... ne voyant aucun résultat, c'est à dire désindexaion complète du répertoire... je vire le disallow et que se passe-t-il ? Désindexation partielle mais significative de ces maudites urls !

Finalement... c'est à se demander si le robots.txt sert à quelque chose. Va falloir trouver autre chose pour empêcher les moteurs de voir le contenu d'un répertoire.