Tester le contenu dupliqué (duplicate content) d'une URL

Le duplicate content / contenu dupliqué

Le duplicate content pour Google, c'est tout simplement un contenu partiellement ou totalement similaire qui est présent à différents endroits du web.
C'est nocif pour votre referencement car si votre contenu est dupliqué à un autre endroit, l'URL copiée sera moins bien referencée ou pénalisée .
Certains services comme Positeo ou Copyscape font déjà très bien les analyses externes : vous rentrez 1 URL ou un texte et ces outils gratuits recherchent dans leur base de données pour trouver un plagiat.

L'outil que je vous propose testera simplement 2 points :

• L'URL avec et sans les www.
• L'URL suffixée avec la liste de fichiers index.* ci après

Comment utiliser l'outil de test de duplicate content?

• Renseignez dans le champ une URL racine : la racine de votre site ou la racine d'une rubrique ou sous rubrique
• Validez
• Patientez quelques secondes pendant le traitement et vous verrez ensuite apparaitre les entêtes HTTP de chaque URL.

Détail des pages index.* testées

• Index.php
• Index.php5
• Index.html
• Index.htm
• Index.shtml
• Index.xhtml
• Index.asp
• Index.aspx
• Index.jsp
• Index.cgi
• Index.pl
• Index.cfm

Les principales réponses HTTP

Les entêtes HTTP les plus courantes :

• 200 : duplicate content détecté car une même page est accessible à 2 endroits (vérifier l'existence d'un canonical).
• 301 : pas de duplicate car vous avez redirigé definitivement vers la bonne URL..
• 302 : pas de duplicate mais ça peut être problématique car vous avez redirigé temporairement vers la bonne URL.
• 404 : pas de duplicate car l'URL demandée est introuvable.
• 500 : pas de duplicate car le serveur renvoie une erreur interne au serveur

Plus de détails sur Wikipedia

Restrictions d'utilisation

L'outil est restreind actuellement à 130 appels d'URL par jour et par IP.
Ces outils n'étant pas sur un hebergement dédié, les ressources serveurs sont épuisables par une trop forte utilisation et surtout le serveur risque d'être blacklisté par une trop forte sollicitation.
Si vous avez des remarques ou des demandes de modifications, n'hésitez pas à me contacter.