[Problème] Comment refuser l'indexation des pages du back office

[elraton14]

[edit]
Bonjour à tous
J'ai un petit soucis au niveau de l'indexation de mes pages dans Google. Depuis peu, Google s'est mis à explorer les pages de mon back office et à les indexer. Htacess et robot.txt sont bien configurés. Apparemment ça pourrait peut être venir d'un paramètre à régler dans l'un des outils de google (webmaster tool ?). Est ce que quelqu'un aurait une idée ?
En vous remerciant

[elraton14]

Re : Comment refuser l'indexation des pages du back office

petit up

[toffffe]

Re : Comment refuser l'indexation des pages du back office

Salut
Non c'est ton robot.txt qui permet de dire de ne pas référencer certaines parties de ton site.
Dans les webmaster tools il reprends ton robot.txt

[XdiZ]

Re : Comment refuser l'indexation des pages du back office

Salut,

Dans le fichier robots.txt qui se trouve à la racine du site, il y a bien

Disallow: /administrator/

?

[elraton14]

Re : Comment refuser l'indexation des pages du back office

Bonjour,
Je pensais avoir réglé mon problème d'indexation mais finalement ça n'est toujours pas le cas.
Petit rappel des faits :
Lorsque j'étais chez 1&1 j'ai utilisé leur générateur de sitemap pour Google qui permet de créer et d'envoyer ça automatiquement à Google (problème, aucune trace dans les outils WMT). J'ai choisi leur configuration standard, sauf que c'est écrit que "La création du Google SiteMaps sera alors automatique incluant les critères Tous les dossiers sont explorés, Tous les fichiers Internet sont indexés."
A partir de là, j'ai vu le nombre de page indexé dans GWT augmente de façon fulgurante passant jusqu'à 2270.
J'ai reconfigurer le sitemap en mode personnalisé. Le nombre de page indexé est descendu à 761 (ce qui est toujours énorme pour mon site qui comporte qu'une cinquantaine de pages. Puis, récemment, le nombre de page indexé à continuer à augmenter, pour être aujourd'hui à 1489. (Cf PJ à l'adresse http://dl.free.fr/bPyoslKxp)
J'ai regardé sur internet (voir : http://www.hmtweb.com/marketing-blog...tion-problems/ )et ma courbe d'indexation que vous pouvez voir en PJ montre qu'il y a un réel problème avec l'indexation des pages de mon site web.
Aucune solution en vue, je désespère...
Merci d'avance pour votre aide.

[toffffe]

Re : Comment refuser l'indexation des pages du back office

Salut
AS-tu bien dasn ton robot.txt à la racine de ton site la ligne que te donne xdiz ?

Disallow: /administrator/

[elraton14]

Re : Comment refuser l'indexation des pages du back office

Oui bien présent

[elraton14]

Re : Comment refuser l'indexation des pages du back office

Pas d'idées ? Je sèche de mon côté.

[PieceOfCake]

Re : Comment refuser l'indexation des pages du back office

bonjour et bienvenue au club !

moi aussi j'ai quelques soucis d'indexation, mais pour revenir aux tiens de soucis, es tu sûr que ton backoffice est indexé par Google ? Le nombre de pages indexé, n'est pas le seul critère, trop de pages indexées par rapport à la réalité (en nombre de pages) ne signifie pas que ce soit ton backoffice qui est indexé.

Personnellement j'ai eu pendant pas mal de temps (et encore en ce moment) des pages indexées en double, voire des url inventées (??) par le moteur de crawling de google (mais c'est pas google qui est en cause, c'est moi voire quelquefois Joomla!) voire par exemple le fil de discussion ouvert ce jour 81188

[jisse03]

Re : Comment refuser l'indexation des pages du back office

Bonjour,

Dans tous les cas de figure, Google ne peut indexer les pages admin, vu qu'elles requièrent toutes une connexion administrator valide

PieceOfCake a raison, ce n'est pas l'admin qui est traqué, mais certainement autre chose, comme des duplicate.

[elraton14]

Re : Comment refuser l'indexation des pages du back office

@pieceofcake : Google peut très bien indexer les pages du backoffice mais le robot lui bloque l'accès.
Lorsque je lance la commande site: j'ai mes 57 vrais pages de mon site et ensuite j'ai un texte qui me dit :
Afin d'afficher les résultats les plus pertinents, nous avons omis quelques entrées qui sont très similaires aux 57 entrées actuelles.
Si vous le souhaitez, vous pouvez relancer la recherche pour inclure les résultats omis.. Quand je clique sur "relancer la recherche" j'ai le reste de mes pages du backoffice bloqué par le robot. Certains diront que ce n'est pas grave pour le référencement mais j'ai vu autre part que le fait d'avoir ce genre de chose rendait mon site plus vulnérable aux attaques.
Alors plusieurs questions :
1/ est ce que cela pose réellement un problème niveau référencement ?
2/ est ce que mon site est vraiment plus vulnérable
3/ comment ne plus avoir toutes ces urls présentes dans Google

Merci à vous

[jisse03]

Re : Comment refuser l'indexation des pages du back office

Bonjour,

Google peut très bien indexer les pages du backoffice mais le robot lui bloque l'accès.
Lorsque je lance la commande site: j'ai mes 57 vrais pages de mon site et ensuite j'ai un texte qui me dit :
Afin d'afficher les résultats les plus pertinents, nous avons omis quelques entrées qui sont très similaires aux 57 entrées actuelles.
Si vous le souhaitez, vous pouvez relancer la recherche pour inclure les résultats omis.. Quand je clique sur "relancer la recherche" j'ai le reste de mes pages du backoffice bloqué par le robot.

Les robots de Google respectant robots.txt, je ne vois pas comment des pages administrator pourraient être indexées... Sauf avec certains composants qui appellent des liens en admin, genre VirtueMart.

Certains diront que ce n'est pas grave pour le référencement mais j'ai vu autre part que le fait d'avoir ce genre de chose rendait mon site plus vulnérable aux attaques.
Alors plusieurs questions :
1/ est ce que cela pose réellement un problème niveau référencement ?
2/ est ce que mon site est vraiment plus vulnérable
3/ comment ne plus avoir toutes ces urls présentes dans Google

Tant pour le référencement que pour la sécurité, l'impact est du genre 0,001 pour mille.
Les pirates qui tentent de pénétrer un site n'utilisent quasiment jamais des résultats google, mais d'autres techniques, genre sniffing de technologie. Le seul impact pourrait être des pré-apprentis crackers de sites qui voudraient jouer aux apprentis sorciers, ce que les sécurités existantes bloqueraient (sauf si l'hébergement utilise une version de PHP ayant une faille connue (et corrigée depuis) concernant un débordement de pile sur appel de la fonction realpath).

Pour modifier des indexations Google, voir dans le panel webmaster tools de Google (nécessite d'avoir un compte google)

[PieceOfCake]

Re : Comment refuser l'indexation des pages du back office

3/ comment ne plus avoir toutes ces urls présentes dans Google

Jisse03 a raison c'est dans GWT qu'il faut chercher (Google Webmaster Tools), il faut avoir un compte, c'est gratuit. Puis travailler, travailler, travailler ... Pour la première fois (mon site est tout jeune et j'ai fait beaucoup d'erreur en terme de SEF et de SEO au début (maintenant encore sûrement, mais c'est comme ça aussi qu'on apprend), pour la première fois disais-je, GWT m'annonce fièrement dans la rubrique Exploration - Erreurs d'exploration : "Aucune erreur n'a été détectée au cours des 90 derniers jours : Félicitations!", pour être franc, il faut lire : "Aucune erreur n'a été détecté au cours de la dernière exploration" car j'ai dû enlever les 3 dernières erreurs (provisoirement) hier !!

Et c'est un boulot de (presque) tous les jours.
C'est juste en dessous de ce menu dans GWT que se trouve un menu intitulé [Index Google] - [URL à supprimer]
C'est pas immédiat, ça prend un peu de temps et il faut y aller petit à petit mais ça supprime bien les URLS que tu signales des résultats de la recherche ET du cache Google (si tu le souhaites). Cf copie d'écran ci-dessous


Ca ne réglera pas tes problèmes de SEF qui font que tu as peut être aussi des URLs fantaisistes de généré (moi j'en ai, dû à un bug Joomla! et aussi à des erreurs de mon template) et c'est pas toujours possible de mettre des no index, no follow partout où on voudrait

Bon courage y a du boulot ... !

[elraton14]

Re : Comment refuser l'indexation des pages du back office

Merci à vous de vos réponses. En effet, ça fait un moment que je travail sur GWT pour réparer les URL ne devant pas être indexées. Mais ce n'est pas le problème. Là, il s'agit d'url étranges, qui bien même bloqués par le fichier robot, ce retrouvent dans les résultat de Google (voir http://dl.free.fr/hpOJGJ2vL). J'ai testé la commande site: sur bing et je n'ai absolument pas ce problème
Je pense vraiment que le problème provient de la manip que j'ai faite quand j'ai généré un sitemap depuis 1&1, avant c'était parfait. Mais le problème avec ce genre de sitemap c'est qu'on en a aucune trace (il n'apparait pas dans le soutil GWT), du coup impossible de le supprimer. Enfin, à ma connaissance.
Peut être que certains d'entre vous ont eu le même problème avec les sitemap de 1&1 ?

[jisse03]

Re : Comment refuser l'indexation des pages du back office

Bonjour,

Je ne sais pas comment l'outil 1&1 génère le sitemap.

Mais pour Google, il te suffit de générer un nouveau sitemap et de le soumettre dans te soutils google.