Outils de recherche et référencement

La question de la similitude est souvent mal abordée par les outils que j'ai pu voir et même par les SEO.
En fait il s'agit d'une notion un peu plus complexe et à ce sujet, le Dr. Garcia, alias Orion en parle brièvement dans un des exposés du SES de San José que j'ai évoqué hier sur un autre topic.
A ce sujet, allez sur Seroundtable, de nouveaux résumés ont été réalisés et c'est tout bonnement bluffant, cela faisait longtemps que je n'avais pas lu quelque chose de ce niveau.
Pour en revenir à ta question, dans le résumé qui s'appelle "Search Algorithms: The Patent Files", il est dit:
http://www.seroundtable.com/archives/002331.html

Dr. Garcia from Mi Islita.com is up next to speak about Patents on Duplicated Content. He states some disclaimers. The first is a patent document does not mean implementation. Dr. Garcia talks about Google Patent Detecting Query Specific Duplicate Documents. He explains how they do this. The does a query, candidate results ranked by relevancy (A,B,C,D,E), it goes through query specific Filters, looks for duplicates, removes duplicates, and finally shows the final set to the user (A,B,E). How Google may test to final duplicate documents is that is first sends the document through linearization. It uses a 15 to 100 character sliding window. The idea is to shift the window over the text and calculate the term frequency in that area. There may be many sliding windows. The idea is to collect the top 2 sliding windows, to define a query relevant to the corresponding documents. He goes on to say the 2003 patent will compare a current snippet with snippets already in the final set. His slide displays a list of ranked results, he says that is result is similar to result number 2, but not 1, then it will keep it. The patent document opens the door for using server detection methods, such as standard IR similarity measures and shingles.

He next goes into more complicated math, relating to how they treat a snippet as vectors and compute a cosine similarity. The idea is to analyze the two coordinates in the space. Based on the displacement of the two points, they can get a magnitude, and a DOT product, which they can use to finally measure similarity. The closer of the cosine to 1, the point of comparison will make the document similar. They can set a limit, that is the cosine is a certain point, they can make a decision to reject or accept the document. Retesting is also possible. He goes on to study another way to compare resemblance, he takes information from Altavista Patent published in 2001. What they do is take two linearizied documents. Count individual and common Shingles (or windows). He gives the examples such as the phrases “ a rose is a” from document A and it tends to be compared with document B. His next slide talks about using Jaccard’s coefficient and computing the resemblance of the documents. This I think helps look for false positives if using short shingles, such as unrelated documents that may look similar\and false negatives who use long negatives such as small changes producing large impact.

En gros, c'est le principe des "fenêtres glissantes" de 15 à 100 caractères, qui se promèneent sur une page (il peut y avoir une ou plusieurs fenêtres) et qui analysent la similitude avec d'autres pages.
Quand je disais en début de post que les outils que j'ai vu n'étaient pas pertinents, c'est qu'ils analysent la similarité entre 2 pages sans prendre compte en le contexte.
Si tu compare 2 pages d'un même site, tu risques d'avoir une très grosse similarité bien que les contenus soient complètement différents, et ce à cause des liens de navigation, du footer, du header, du left, du right, etc...ce qu'il faut analyser, c'est le contenu réel, pas le reste, sauf lorsqu'on souhaite le faire, pour déterminer quelle est la part de réel contenu dans les pages d'un même site, afin d'accorder moins d'importance aux liens de navigation, footer, etc...par rapport aux liens présents dans le contenu ou alors il faudrait qu'on puisse au moins cocher une case dans l'outil pour dire si les 2 pages sont sur le même site ou pas et dans ce cas, l'analyse serait effectuée et présentée différemment.

mouais ça fait flipper tout ça... rédactionnel powa

ThickParasite a �crit:

Cependant, on sait aussi que faire le porc marche toujours (avec un peu de chance tout de même), donc la fête n'est peut-être finie et le rêgne des outils magiques peut s'adapter

Oui j'en suis persuadé, surtout sur d'autres moteurs que gg, par contre sur ce dernier les outils magiques s'ils fonctionnent au debut on rarement la pérénité necessaire sur le long terme. Bon y'a aussi certainement moyen de gagner un gros paquet de thunes en 4 ou 5  mois en bourinant comme un cochon, se faire blacklister et laisser le site continuer à gagner petit avec les autres moteurs.

Tiens d'ailleurs, on peut se faire blacklister sur les autres moteurs ?

Salamioche il est pire que les filtres de gg, dès que me mot "bourriner" est saisi qq part sur la toile, il apparait comme par enchantement

je pense plutot qu'il est en train de nouer la corde pour ce pendre le gégé tout ce qui est dit la si tu l'aplique a la lettre tu met un rédactionnel et basta !!!
cela veut dire que tout nouveau site n'a aucune chance de prendre un visiteur ? et ont reviens dans 1 ans l'index sera toujours le meme, un peux comme Voila quoi
gégé c 'est fini YAHOOOOOOOOOOO

coyote a �crit:

je pense plutot qu'il est en train de nouer la corde pour ce pendre le gégé tout ce qui est dit la si tu l'aplique a la lettre tu met un rédactionnel et basta !!!
cela veut dire que tout nouveau site n'a aucune chance de prendre un visiteur ? et ont reviens dans 1 ans l'index sera toujours le meme, un peux comme Voila quoi
gégé c 'est fini YAHOOOOOOOOOOO

y'a toujours une logique implacable dans ce que dis coy, c'est pour ça qu'on l'aime

bon tout ca revient a ma theorie originale, il faut generer des phrases aleatoires.... un ecrivain robot quoi, je suis sur que c est possible, et puis en travaillant un peu, il pourrait meme ecrire qqchose de censé...