Ordre de traitement du robots.txt par Google

[FlodAriege]

Re : Ordre de traitement du robots.txt par Google

PS : J'ai essayé le fichier robots.txt de FodAriege dans mon GWT (outil de test du robots.txt) et cette url ci-dessus ....blue.css sort bien en autorisée
[ATTACH=CONFIG]30345[/ATTACH]

C'est normal, puisque je n'interdis plus du tout l'accès au dossier templates Rien à voir avec la syntaxe d'une ligne qui autoriserait l'accès aux css

[PhilJ]

Re : Ordre de traitement du robots.txt par Google

Surtout avec l'ajout des lignes de fin :
Allow: *.js
Allow: *.css

Oui. En fait les vraies questions (outre les dossiers personnels) à se poser portent sur /components/ et /modules/.

Mais même là, si je me souviens bien d'un échange récent à ce sujet, certains préconisent de ne rien mettre en place du tout : pas de Disallow: du tout pour ces 2 dossiers et tout leur contenu. De mon côté, je n'ai pas eu le temps de faire les tests avec cette méthode radicale. Peut-être convient-elle en fait parfaitement (je vais faire ces tests dans bientôt promptement sans tarder immédiatement et sans délai ).

[FlodAriege]

Re : Ordre de traitement du robots.txt par Google

Oui. En fait les vraies questions (outre les dossiers personnels) à se poser portent sur /components/ et /modules/.

Mais même là, si je me souviens bien d'un échange récent à ce sujet, certains préconisent de ne rien mettre en place du tout : pas de Disallow: du tout pour ces 2 dossiers et tout leur contenu. De mon côté, je n'ai pas eu le temps de faire les tests avec cette méthode radicale. Peut-être convient-elle en fait parfaitement (je vais faire ces tests dans bientôt promptement sans tarder immédiatement et sans délai ).

Chez moi, ça plait à Google (j'ai viré ces 2 lignes, entre autres).
Reste à savoir si je vais me retrouver avec des URL bizarres toutes pourries qui vont surgir dans l'index Google...
Mais ça je ne sais pas le tester/vérifier, donc il me tarde de te voir revenir avec le résultat de ton essai !

[PhilJ]

Re : Ordre de traitement du robots.txt par Google

[...] il me tarde de te voir revenir avec le résultat de ton essai !

Ça marche (j'ai réussi à trouver un créneau vers la fin du 2^e semestre 2016 ).

[PieceOfCake]

Re : Ordre de traitement du robots.txt par Google

d'accord on attend ta réponse alors

[PhilJ]

Re : Ordre de traitement du robots.txt par Google

d'accord on attend ta réponse alors

Zut, depuis 18 heures un nouvel événement m'oblige à repousser mes tests en 2022 (j'espère dès le mois de janvier ).

[pjuignet]

Re : Ordre de traitement du robots.txt par Google

Une question générale : pourquoi mettre des Allow puisque, s'il ne rencontre pas de Disallow, googlebot explorera automatiquement le fichier (sauf erreur de ma part ?)

[manu93fr]

Re : Ordre de traitement du robots.txt par Google

Bonjour,
c'est pour faire comprendre au bot que tu veux lui donner l'accès a un (des) fichier(s) d'un repertoire "interdit"

D'ou le Allow AVANT le Disallow

[pjuignet]

Re : Ordre de traitement du robots.txt par Google

Google envoie des messages automatiques me signalant "Accès de Googlebot aux fichiers CSS et JS impossible sur le site".
C'est étrange, car contraire au fonctionnement de Google qui explore tout, sauf ce qui lui est interdit.

[manu93fr]

Re : Ordre de traitement du robots.txt par Google

oui car ces fichier sont surement dans ton dossier decrit en Disallow ... d'ou l'idée de trouver les fichiers bloqués et de mettre un Allow devant avec le chemin pour y acceder

[pjuignet]

Re : Ordre de traitement du robots.txt par Google

Le fichier robots.txt natif de Joomla! ne bloque pas ni les fichiers css, ni les fichiers js. Je ne l'ai pas modifié.

D'autre part, s'il y a des Disallow, il est illogique des mettre de Allow à la place, il suffit de les supprimer, non ?

[manu93fr]

Re : Ordre de traitement du robots.txt par Google

Le fichier robots.txt natif de Joomla! ne bloque pas ni les fichiers css, ni les fichiers js. Je ne l'ai pas modifié.

tu es bien sur de toi ... va faire un tour en FTP dans ton dossier template par exemple

D'autre part, s'il y a des Disallow, il est illogique des mettre de Allow à la place, il suffit de les supprimer, non ?

la c'est que tu ne comprends pas ce que je t'ai ecrit plus haut ... le Allow donne acces a un fichier ou des fichiers bien precis ... le disallow va bloquer tout le reste ... donc les deux fonctionnent "ensemble"

Si tu supprimes le disallow comme tu le suggères ... tu donnes un acces total au dossier ... voila juste la difference

[pjuignet]

Re : Ordre de traitement du robots.txt par Google

tu es bien sur de toi ... va faire un tour en FTP dans ton dossier template par exemple

Je vais aller voir.

donc les deux fonctionnent "ensemble"

Ok compris.

[fredjouan]

Re : Ordre de traitement du robots.txt par Google

Bonjour,
Je viens de lire ce fil passionnant sur les nouvelles façons de construire le fichier Robots.txt
En me basant sur la proposition de Flo et en retirant les lignes concernant les extensions spécifiques, je me demandais quelle URL indiquer pour le sitemap, HTML ou XML ?
J'ai également ajouté la ligne (mais cela ne concerne que ceux qui utilisent ce script) :
Disallow: /aesecure/
Fred

[PhilJ]

Re : Ordre de traitement du robots.txt par Google

Bonjour Fred,

Je viens de lire ce fil passionnant sur les nouvelles façons de construire le fichier Robots.txt
En me basant sur la proposition de Flo et en retirant les lignes concernant les extensions spécifiques, je me demandais quelle URL indiquer pour le sitemap, HTML ou XML ? [...]

Le plan de site HTML peut (ou non) être indexé si un lien est accessible depuis le site (qui se présente typiquement sous la forme : <a href="plan-du-site">Plan du site</a>). Il est habituel de ne pas en interdire l'accès aux moteurs, lesquels vont alors le trouver sans aucune aide de votre part.

Quant au(x) plan(s) de site XML, il(s) gagne(nt) à être signalé(s) aux moteurs, soit dans le robots.txt avec une ou des directive(s) Sitemap: (comme on le voit d'ailleurs à la toute fin du robots.txt de Google en personne : http://www.google.com/robots.txt), soit via les GWT.



Cordialement,



PhilJ