gestion robots.txt

[urea72]

Bonjour à tous,

Que se passera t-il si j'ajoute ces lignes à mon robot txt :

Disallow: /*content$
Disallow: /*author$
Disallow: /*date$

Merci à tous !

[PieceOfCake]

Re : gestion robots.txt

Bonjour,

à mon avis : pas grand chose !!

tu vas interdire à google de parcourir et indexer les pages commençant par n'importe quoi et se terminant respectivement par :
content, author et date

pas la valeur : la chaîne de caractère (ex : http://monsite.fr/blabla/blablacontent ne sera plus indexé ni parcouru).

Je ne sais pas ce que tu vises exactement, mais sur mon site (+ de 700 articles) : pas une page ne correspondrait à ça ...


Cordialement

[urea72]

Re : gestion robots.txt

En fait aucune des pages que je souhaites voir indéxées ne contient ces mots.
Voici donc clairement ce que je cherche à faire, c'est à dire supprimer des duplicates en pagaille comme ceux là:
je ne parviens pas à empêcher GWT de me signaler ces urls

/corps-presence-alterite/author/508-axel
/corps-presence-alterite/author/508-axel?limitstart=0
/decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent
/le-coaching/author/508-superuser
/le-coaching/author/index.php
/le-coaching/date/2013/4
/le-coaching/date/22/2012/index.php
/le-hasard/date/2012/extraits-memoires-praticien-referent
/le-hasard/date/2012/index.php
/le-hasard/date/22/2012/index.php
/lectures/author/508-axel
/lectures/author/508-superuser
/lectures/date/2013/4
/lectures/date/2013/4?catid=9
/nos-articles/l-hypnose/author/508-superuser

[PieceOfCake]

Re : gestion robots.txt

Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
*/author/*

le $ signifie qu'il ne doit plus rien y avoir derrière. Cela ne fonctionnera donc pas correctement dans ton cas.
Je te recommande de tester d'abord dans GWT : GWT > Exploration > Outils de test du fichier robots.txt

Tu peux ajouter une règle dans la partie droite (éditable, mais pas sauvegardée sur ton site ! si la règle est bonne et donne de bons résultats il faudra la mettre à jour sur ton site via FTP) :
ajouter Disallow: */author/* et utiliser une de tes urls ci-dessus dans la zone de test en bas

Si après avoir cliqué sur tester tu vois apparaître 'bloqué' à la place du bouton et que la règle souhaitée est en inversion vidéo rouge c'est gagné (la règle marche je viens de vérifier).

J'ai quand même un doute sur la façon dont tes urls sortent dans GWT ? on a l'impression que tu n'as pas activé le mode SEF sur ton site

Cordialement

[urea72]

Re : gestion robots.txt

Merci beaucoup pour cette approche très pratique et prudente je vais essayer.

Je viens de vérifier j'ai bien réactiver la réécriture de joomla ...

Merci

[urea72]

Re : gestion robots.txt

Bonjour,

Je vais abuser encore un peu de ton aide, je viens de chercher et je n'ai pas trouvé pour
"Tu peux ajouter une règle dans la partie droite"

C'est à quel endroit ?

Merci d'avance

[PhilJ]

Re : gestion robots.txt

Bonjour,

Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
*/author/*
[...]

Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.



Cordialement,



PhilJ

[urea72]

Re : gestion robots.txt

je sais bien malheureusement je ne trouve pas ...

[PieceOfCake]

Re : gestion robots.txt

Re,

Dans GWT, malgré toutes les apparences, la zone listant les règles du robots.txt courant est éditable. Tu peux donc ajouter les règles (à tester) que tu souhaites, les modifier, les supprimer etc...

Seule limitation : tu ne peux pas les sauvegarder directement sur ton site, il te faut passer par FTP (par exemple) pour ce faire

est ce assez clair ?

[PieceOfCake]

Re : gestion robots.txt

Bonjour,

Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.

Cordialement,

PhilJ

Ce serait mieux ... oui, mais bon, visiblement plus délicat et personnellement je ne pratique pas du tout K2 (même si j'adore al montagne )

[urea72]

Re : gestion robots.txt

Oui merci,

En revanche quand je teste ensuite dans la ligne inférieure une url avec author dedans... ça me dite que c'est valide

par exemple :

Disallow: */author/*

url:decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent

Quand je clique sur "tester" il y a écrit "autorisé"