Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

A tester :

Disallow: /site_content/tags.html?id=*&start=*

ou même plus court :

Disallow: /site_content/tags.html?*

Merci PhilJ,
J'ai modifié mon robots, mais quant à te dire si ça fonctionne, impossible ce soir, Google bloque sur la version précédente et refuse de s'actualiser pour voir la nouvelle version (qui pourtant s'affiche bel et bien quand je clique sur 'afficher le fichier robots en ligne'.

Note pour moi même : vérifier si les 2 nouvelles instructions permettent bien d'ignorer les URL indésirables
Disallow: /site_content/tags.html?*
Disallow: /index.php?option=com_content*

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je viens de tester cette nouvelle instruction (la plus courte) (après m'être souvenue qu'on pouvait renvoyer le robots comme on renvoie le sitemap)
... Et l'URL mentionnée en exemple ressort toujours comme autorisée ... Je n'y comprends rien.
Je vais tester la plus longue mais à mon avis y'a encore un truc que je fais de travers.

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

J'ai constaté aussi que les règles partaient un peu (beaucoup ?) en vrille après l'ajout des lignes

User-Agent: Googlebot
Allow: .js
Allow: .css

en fin de robots.txt, rendant tout ce qui est placé avant ces lignes et pourtant préfixé avec un

User-Agent: *

obsolète et sans effet. Étonnant non ?

Tout se passe comme si la rencontre de l'instruction :

User-Agent: Googlebot

faisait que Googlebot ignorait purement et simplement ce qu'il y avait entre les deux instructions User-Agent

du coup j'ai replacé les

Allow: .js
Allow: .css

sous l'instruction

User-Agent: *

et tout est revenu en ordre

[FlodAriege]

Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Ah ! merci parce que là je commençais à me dire qu'il y avait un sacré gros problème dans mon robots. Même l'URL administrator.php était autorisée !!
Zou, je file faire la correction.

EDIT : retour de test

Je viens de refaire le test, après avoir remis les lignes destinées à Googlebot à la fin du robtos.txt (après la ligne sitemap).
Très étonnant mais... ça ne change RIEN.
Tout ressort comme URL "autorisée".

J'ai poussé le bouchon jusqu'à tester à nouveau administrator/index.php et... AUTORISEE !!
Là je me suis dit que c'était forcément l'outil de test de Google qui partait en vrille, alors j'ai essayé en changeant de user :
Googlebot : autorisée
Googlebot-news : autorisée
Googlebot-image : autorisée
vidéo, mobile... : autorisée
Mediapartners-Google : BLOQUEE (avec un beau panneau sens interdit en face de la ligne disallow: /administrator/ du robots.txt)
Adsbot-Google : autorisée

?????????????????????????????????????????????????? ??

J'ai refait les tests avec l'instruction visant à interdire l'indexation de
rédigée ainsi :
Disallow: /site_content/tags.html*
... là, le test sur l'URL /site_content/tags.html?id=124 donne le résultat URL "autorisée" quel que soit le robot, y compris Mediapartner-Google

Puis j'ai testé l'URL :
index.php?option=com_content&view=cate gory&layout=blog&id=100&Itemid=11 47
alors que j'ai une instruction qui dit :
Disallow: /index.php?option=com_content*
... idem, toujours autorisée, quel que soit le robot Google

Enfin, j'ai fait un dernier test sur le contenu du dossier images/headers, alors que j'ai une instruction qui dit :
Disallow: /images/headers/
J'ai testé l'URL : Disallow: /images/headers/blue-flower.JPG
... autorisée, sauf pour Mediapartners-Google

????????????????


2ème ÉDIT;
Je réalise que j'ai mal lu ton post. J'ai en effet conservé la ligne User agent Googlebot en amont des lignes allow css js et ai tout déplacé en fin de robots, au lieu de faire comme toi qui as autorisé l'indexation des css js etc. à tous les user agent en supprimant la ligne à l'attention du seul Googlebot. Je rectifie ça dès que je peux et je refais mes tests.


3ème EDIT :
Bon, ben, cette fois je crois avoir fait la même chose que toi, PieceofCake :

User-agent: *
Allow: .css
Allow: .js
Allow: .png
Allow: .gif
Allow: .jpg
Allow: .JPG
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /site_content/tags.html*
Disallow: /index.php?option=com_content*
Disallow: /images/headers/
Disallow: /images/phocagallery/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /html/

... mais, par exemple, l'accès à mon custom.css (dans dossier templates) est... bloqué.
Par contre les instructions relatives aux URL site_content et tout ça, elles, fonctionnent bien cette fois.

Mais le but initialement recherché (donner accès aux css, js à Google) n'est plus atteint.
N'y a-t-il que chez moi que le problème se pose ? Est-ce que j'aurais fait une coquille dans mon robots ?

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

J'ai détaillé (image à l'appui) tout le processus du post #63 dans un nouveau billet : http://forum.joomla.fr/showthread.ph...txt-par-Google