Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[PhilJ]

Moralité, l'apparition de cette alerte serait liée au durcissement de la politique de Google en termes de compatibilité mobile.

Impossible bien sûr de connaître à coup sûr la raison (ou les raisons) de ces alertes, qui ont touché à peu près tous les sites.

Ce que l'on peut constater, c'est que Google voit désormais parfaitement qu'un site n'est pas du tout compatible avec les smartphones (il s'agit en fait d'un modèle type iPhone ayant une largeur de 320 px). Il le notifie clairement par email, ainsi que dans les outils du webmaster (GWT). Pour les autres, il voit tout aussi bien que la compatibilité est assurée. Mais dans le cas où des ressources contribuant à l'affichage sont bloquées par le fichier robots.txt, la compatibilité demande confirmation, ce qui suppose que les fichiers bloqués soient indexables.

Les ressources contribuant à l'affichage sont :
—

• Les feuilles de style : fichiers .CSS.
• Certains scripts, notamment les fichiers Javascript : fichiers .JS.
• Les images : .JPG, .PNG, .GIF.

A ce sujet, il préférable d'éviter de permettre l'indexation de fichiers .PHP. Or il peut s'en trouver dans des dossiers comportant des ressources contribuant à l'affichage.

Exemple :
—

|_ dossier-x

|_ fichier.php
|_ index.html

|_ dossier-x_css
|_ dossier-x_images
|_ dossier-x_js

Dans un tel cas de figure, on s'arrangera pour que les .CSS, les images et les .JS soient indexables, mais pas le fichier .PHP.


Ensuite, ce que l'on peut supposer, c'est que Google souhaite hâter la prise en compte de son nouveau critère de positionnement : meilleure position attribuée aux sites dans les résultats de recherche lorsque la recherche est faite depuis un appareil mobile (au sens d'un smartphone 320 px comme rappelé plus haut).

En somme, si ma supposition est juste, ces alertes visent à accélérer la mise en place de ce critère tout en faisant en sorte que le critère soit le plus fidèle possible à la réalité. Or ce dernier aspect nécessite l'intervention du webmaster sur l'étendue des ressources bloquées. D'où les alertes récemment envoyées en masse à tous les titulaires d'un compte GWT.

[...] je sais quoi faire ce weekend ;-)

Oui : il faut prévoir du temps pour s'assurer que tous les blocages sont bien identifiés et levés.

A titre d'exemple, Google identifie 42 ressources bloquées par le robots.txt sur la seule page d'accueil de ton site.

Parmi elles, 3 sont tout à fait hors de portée car externes (par exemple un script qui se trouve chez AddThis), mais les 39 autres doivent pouvoir être rendues accessibles. Les voici :
—

/components/com_flexicontent/assets/css/flexicontent.css
/media/system/css/modal.css /components/com_flexicontent/assets/css/fcvote.css
/components/com_flexicontent/templates/default-sans-ds-mm-categorie/css/item.css
/components/com_flexicontent/assets/css/tabber.css
/components/com_imageshow/assets/css/style.css
/media/modals/css/bootstrap.min.css
/media/jui/css/bootstrap.min.css
/media/jui/css/bootstrap-responsive.min.css
/media/jui/css/bootstrap-extended.css
/plugins/system/jsntplframework/assets/3rd-party/bootstrap/css/bootstrap-frontend.min.css
/plugins/system/jsntplframework/assets/3rd-party/bootstrap/css/bootstrap-responsive-frontend.min.css
/modules/mod_cookiesaccept/screen.css
/modules/mod_slideshowck/themes/default/css/camera.css
/plugins/system/jqueryeasy/jquerynoconflict.js
/media/system/js/mootools-core.js
/media/system/js/core.js
/media/system/js/mootools-more.js
/media/system/js/modal.js
/media/jui/js/bootstrap.min.js
/components/com_flexicontent/assets/js/fcvote.js
/components/com_flexicontent/assets/js/fcfav.js
/components/com_flexicontent/assets/js/tabber-minimized.js
/media/modals/js/jquery.colorbox-min.js
/media/modals/js/script.min.js
/plugins/system/jsntplframework/assets/joomlashine/js/noconflict.js
/plugins/system/jsntplframework/assets/joomlashine/js/utils.js
/modules/mod_slideshowck/assets/jquery.easing.1.3.js
/modules/mod_slideshowck/assets/camera.min.js
/media/system/css/system.css
/templates/jsn_boot_pro/images/colors/christmas/aurora-mobile.jpg
/templates/jsn_boot_pro/images/colors/christmas/header-light-grad.png
/templates/jsn_boot_pro/images/icons/icons-uni-white.png
/templates/jsn_boot_pro/images/icons/icons-mobile-white.png
/templates/jsn_boot_pro/images/icons/icons-uni.png
/templates/jsn_boot_pro/images/gradient-footer-bg-wide.png
/templates/jsn_boot_pro/images/colors/christmas/usermodules3-bg.png
/templates/jsn_boot_pro/images/colors/christmas/footer-bg.jpg
/templates/jsn_boot_pro/images/colors/christmas/footer-snow-bg.png

/modules/mod_cookiesaccept/img/przez_b.png

Pour finir, il est utile de renvoyer le robots.txt à Google via les GWT afin de lui signifier sans tarder les changements (= Menu GWT : Exploration > Outil de test du fichier robots.txt > Bouton [ENVOYER]).

On peut ensuite surveiller la réindexation du site avec le robots.txt corrigé, mais elle est loin d'être immédiate et l'index (= Menu GWT : Index Google > Ressources bloquées) peut signaler pendant encore pas mal de temps que certaines ressources libérées sont toujours bloquées.

En cas de doute, il est possible d'utiliser l'outil de test en temps réel du fichier robots.txt : saisir l'URL mentionnée comme bloquée dans le champ situé en bas de page, puis appuyer sur le bouton [TESTER]. Si malgré ce qu'en dit la page 'Index Google' le fichier est effectivement indexable, il est précédé d'une coche verte et surligné en vert. Dans le cas contraire, il faut encore retoucher le robots.txt, le renvoyer sur le site et signaler le changement comme déjà expliqué.



Bon courage

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Merci PhilJ !

Moralité, l'apparition de cette alerte serait liée au durcissement de la politique de Google en termes de compatibilité mobile.

Grâce à ta réponse très détaillée (merci encore pour ta patience et ton sens de la pédagogie) je sais quoi faire ce weekend ;-)

[manu93fr]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/headers/
Disallow: /images/phocagallery/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Allow: /templates/*/css/
Allow: /templates/*/js/
Disallow: /templates/
Disallow: /tmp/
Disallow: /html/

il est plutot conseillé d'ecrire les "Allow" avant les "Disallow" ... meme si pour Goglebot ça ne changera pas grand chose

[PhilJ]

Bonjour,

[...] Google me signale que :
Accès de Googlebot aux fichiers CSS et JS impossible sur le site ***


J'avais déjà réglé ce problème il y a bien longtemps, en modifiant ainsi mon robots.txt :

J'interdis l'exploration du dossier templates et de ce qu'il contient avec :
Disallow: /templates/

Mais j'autorise celle du dossier css qui se trouve dans le dossier jsn boot pro à l'intérieur du dossier templates avec :
Allow: /templates/*/css/

Et pareil avec le javascript :
Allow: /templates/*/js/

Est-ce que c'est Google qui a changé de comportement au 28/07 ?

Non, il te signale seulement que ton robots.txt est incomplet et que son diagnostic de compatibilité avec les smartphones (voir le test https://www.google.com/webmasters/tools/mobile-friendly) pourra par suite ne plus être aussi optimiste (« Parfait. Cette page est adaptée aux mobiles. ») à l'avenir si aucune action n'est entreprise.

Par exemple, Google voit que ce fichier bloque actuellement tous les .CSS et .JS des modules, ce qui, par exemple, l'empêche d'évaluer la compatibilité smartphones du diaporama de la page d'accueil (camera).


=> Il faut regarder les ressources bloquées (= exclusivement les fichiers .CSS et .JS) sinon pour chaque page, du moins pour chaque type de page, puis lever patiemment chaque obstacle.

Ce que je conseillerai :
—

1. Faire l'inventaire des types de pages du site.
   —
2. Pour chaque type de page repéré :
   —
   • Lancer le test https://www.google.com/webmasters/tools/mobile-friendly pour l'une des pages du type, puis regarder quelles sont les ressources bloquées et corriger le fichier robots.txt.
     —
   • Alternativement, ou bien en guise de contrôle des tests évoqués ci-dessus : regarder le code source de l'une des pages du type (CTRL+U), puis rechercher (= CTRL+F) les occurrences successives des feuilles de styles et des fichiers Javascript. Vérifier qu'aucune des ressources appelées par le code source n'est bloquée. Dans le cas contraire, corriger le fichier robots.txt.
   
   

Pour repérer les types de pages du site, le plus simple est de regarder quelles extensions sont mises eu œuvre sur quelles pages. A noter : un type de page peut correspondre à une seule page (par exemple la p. d'accueil ou la p. de contact), ou bien à 10.000 pages. C'est selon.



Cordialement,



PhilJ

[FlodAriege]

Bonjour,

Alors que je n'ai strictement rien changé à mon robots.txt, soudainement le 28/07, Google me signale que :
Accès de Googlebot aux fichiers CSS et JS impossible sur le site ***

J'avais déjà réglé ce problème il y a bien longtemps, en modifiant ainsi mon robots.txt :

J'interdis l'exploration du dossier templates et de ce qu'il contient avec :
Disallow: /templates/

Mais j'autorise celle du dossier css qui se trouve dans le dossier jsn boot pro à l'intérieur du dossier templates avec :
Allow: /templates/*/css/

Et pareil avec le javascript :
Allow: /templates/*/js/

Est-ce que c'est Google qui a changé de comportement au 28/07 ?
Pourquoi d'un seul coup ce problème ?

Merci d'avance pour votre aide

Florence

PS : Au cas où le problème viendrait d'ailleurs, voici le contenu complet de mon fichier :

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/headers/
Disallow: /images/phocagallery/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Allow: /templates/*/css/
Allow: /templates/*/js/
Disallow: /tmp/
Disallow: /html/