Outils de recherche et référencement

J'ai posté le même message dans la liste motrech, de Jérôme Charron, voici ce qu'il a répondu (je le cite parce que je trouve son explication très pertinente, même si je ne comprends pas tout au plan technique) :

Globalement, ce que je pense de l'approche p2p pour un moteur de recherche:

http://motrech.blogspot.com/2006/01/le- … -pire.html

Sinon rapidement:

1. J'aime beaucoup l'approche proxy pour récupérer le contenu à indexer
plutôt que de faire du crawling:

"... we collect information by simply using the information that passes the
proxy."

Je pense depuis longtemps que les proxy sont réellement sous-utilisés.
Les providers ne se rendent certainement pas bien compte de l'or qui leur
passe entre les tuyaux:
Ils disposent en temps réel des URLs consultées par les internautes:

1.1 ça leur permettrait de découvrir de nouveaux URLs très facilement (même
si ce sont des documents qui ne sont reliés à aucun autre, ou faiblement
connecté).
1.2 ça leur permettrait de récupérer directement le contenu qui passe chez
eux et de le valoriser en le stockant et l'indexant, sans avoir besoin de
crawler le web (économie et valorisation de la bande passante).
1.3 ça leur permettrait de faire une sorte de UsageRank : Ils connaissent
dans leur réseau quelle sont les URLs les plus demandées => permettrait de
scorer en fonction de ce critère

Bref, je me demande depuis pas mal de temps pourquoi des gens comme Free qui
font preuve de beaucoup d'innovations ne valorisent pas plus le moteur
Dir.com d'Iliad en le couplant à leurs proxys... c'est un mystère pour moi.
Ils pourraient faire un truc terrible chez Free / Dir.com en terme de moteur
de recherche!

2. Les temps de réponse d'une archi p2p ne sont pas bons:
"Because we need some redundancy to compensate for missing peers, we ask
several peers simultanously. To collect their response, we wait a little
time of at most 6 seconds. If this is not enough, the user may start a
re-search to catch up 'late' responses from other peers."
Cette réponse ne me semble pas acceptable... non?

1.1 ça leur permettrait de découvrir de nouveaux URLs très facilement (même
si ce sont des documents qui ne sont reliés à aucun autre, ou faiblement
connecté).

sympa pour voir les pages apres authentification...

Google utilise déjà l'approche proxy pour le crawl avec ses bots