[RÉGLÉ] Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[FlodAriege]

Bonjour,

Alors que je n'ai strictement rien changé à mon robots.txt, soudainement le 28/07, Google me signale que :
Accès de Googlebot aux fichiers CSS et JS impossible sur le site ***

J'avais déjà réglé ce problème il y a bien longtemps, en modifiant ainsi mon robots.txt :

J'interdis l'exploration du dossier templates et de ce qu'il contient avec :
Disallow: /templates/

Mais j'autorise celle du dossier css qui se trouve dans le dossier jsn boot pro à l'intérieur du dossier templates avec :
Allow: /templates/*/css/

Et pareil avec le javascript :
Allow: /templates/*/js/

Est-ce que c'est Google qui a changé de comportement au 28/07 ?
Pourquoi d'un seul coup ce problème ?

Merci d'avance pour votre aide

Florence

PS : Au cas où le problème viendrait d'ailleurs, voici le contenu complet de mon fichier :

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/headers/
Disallow: /images/phocagallery/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Allow: /templates/*/css/
Allow: /templates/*/js/
Disallow: /tmp/
Disallow: /html/

[PhilJ]

Bonjour,

[...] Google me signale que :
Accès de Googlebot aux fichiers CSS et JS impossible sur le site ***


J'avais déjà réglé ce problème il y a bien longtemps, en modifiant ainsi mon robots.txt :

J'interdis l'exploration du dossier templates et de ce qu'il contient avec :
Disallow: /templates/

Mais j'autorise celle du dossier css qui se trouve dans le dossier jsn boot pro à l'intérieur du dossier templates avec :
Allow: /templates/*/css/

Et pareil avec le javascript :
Allow: /templates/*/js/

Est-ce que c'est Google qui a changé de comportement au 28/07 ?

Non, il te signale seulement que ton robots.txt est incomplet et que son diagnostic de compatibilité avec les smartphones (voir le test https://www.google.com/webmasters/tools/mobile-friendly) pourra par suite ne plus être aussi optimiste (« Parfait. Cette page est adaptée aux mobiles. ») à l'avenir si aucune action n'est entreprise.

Par exemple, Google voit que ce fichier bloque actuellement tous les .CSS et .JS des modules, ce qui, par exemple, l'empêche d'évaluer la compatibilité smartphones du diaporama de la page d'accueil (camera).


=> Il faut regarder les ressources bloquées (= exclusivement les fichiers .CSS et .JS) sinon pour chaque page, du moins pour chaque type de page, puis lever patiemment chaque obstacle.

Ce que je conseillerai :
—

1. Faire l'inventaire des types de pages du site.
   —
2. Pour chaque type de page repéré :
   —
   • Lancer le test https://www.google.com/webmasters/tools/mobile-friendly pour l'une des pages du type, puis regarder quelles sont les ressources bloquées et corriger le fichier robots.txt.
     —
   • Alternativement, ou bien en guise de contrôle des tests évoqués ci-dessus : regarder le code source de l'une des pages du type (CTRL+U), puis rechercher (= CTRL+F) les occurrences successives des feuilles de styles et des fichiers Javascript. Vérifier qu'aucune des ressources appelées par le code source n'est bloquée. Dans le cas contraire, corriger le fichier robots.txt.
   
   

Pour repérer les types de pages du site, le plus simple est de regarder quelles extensions sont mises eu œuvre sur quelles pages. A noter : un type de page peut correspondre à une seule page (par exemple la p. d'accueil ou la p. de contact), ou bien à 10.000 pages. C'est selon.



Cordialement,



PhilJ

[manu93fr]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/headers/
Disallow: /images/phocagallery/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Allow: /templates/*/css/
Allow: /templates/*/js/
Disallow: /templates/
Disallow: /tmp/
Disallow: /html/

il est plutot conseillé d'ecrire les "Allow" avant les "Disallow" ... meme si pour Goglebot ça ne changera pas grand chose

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Merci PhilJ !

Moralité, l'apparition de cette alerte serait liée au durcissement de la politique de Google en termes de compatibilité mobile.

Grâce à ta réponse très détaillée (merci encore pour ta patience et ton sens de la pédagogie) je sais quoi faire ce weekend ;-)

[PhilJ]

Moralité, l'apparition de cette alerte serait liée au durcissement de la politique de Google en termes de compatibilité mobile.

Impossible bien sûr de connaître à coup sûr la raison (ou les raisons) de ces alertes, qui ont touché à peu près tous les sites.

Ce que l'on peut constater, c'est que Google voit désormais parfaitement qu'un site n'est pas du tout compatible avec les smartphones (il s'agit en fait d'un modèle type iPhone ayant une largeur de 320 px). Il le notifie clairement par email, ainsi que dans les outils du webmaster (GWT). Pour les autres, il voit tout aussi bien que la compatibilité est assurée. Mais dans le cas où des ressources contribuant à l'affichage sont bloquées par le fichier robots.txt, la compatibilité demande confirmation, ce qui suppose que les fichiers bloqués soient indexables.

Les ressources contribuant à l'affichage sont :
—

• Les feuilles de style : fichiers .CSS.
• Certains scripts, notamment les fichiers Javascript : fichiers .JS.
• Les images : .JPG, .PNG, .GIF.

A ce sujet, il préférable d'éviter de permettre l'indexation de fichiers .PHP. Or il peut s'en trouver dans des dossiers comportant des ressources contribuant à l'affichage.

Exemple :
—

|_ dossier-x

|_ fichier.php
|_ index.html

|_ dossier-x_css
|_ dossier-x_images
|_ dossier-x_js

Dans un tel cas de figure, on s'arrangera pour que les .CSS, les images et les .JS soient indexables, mais pas le fichier .PHP.


Ensuite, ce que l'on peut supposer, c'est que Google souhaite hâter la prise en compte de son nouveau critère de positionnement : meilleure position attribuée aux sites dans les résultats de recherche lorsque la recherche est faite depuis un appareil mobile (au sens d'un smartphone 320 px comme rappelé plus haut).

En somme, si ma supposition est juste, ces alertes visent à accélérer la mise en place de ce critère tout en faisant en sorte que le critère soit le plus fidèle possible à la réalité. Or ce dernier aspect nécessite l'intervention du webmaster sur l'étendue des ressources bloquées. D'où les alertes récemment envoyées en masse à tous les titulaires d'un compte GWT.

[...] je sais quoi faire ce weekend ;-)

Oui : il faut prévoir du temps pour s'assurer que tous les blocages sont bien identifiés et levés.

A titre d'exemple, Google identifie 42 ressources bloquées par le robots.txt sur la seule page d'accueil de ton site.

Parmi elles, 3 sont tout à fait hors de portée car externes (par exemple un script qui se trouve chez AddThis), mais les 39 autres doivent pouvoir être rendues accessibles. Les voici :
—

/components/com_flexicontent/assets/css/flexicontent.css
/media/system/css/modal.css /components/com_flexicontent/assets/css/fcvote.css
/components/com_flexicontent/templates/default-sans-ds-mm-categorie/css/item.css
/components/com_flexicontent/assets/css/tabber.css
/components/com_imageshow/assets/css/style.css
/media/modals/css/bootstrap.min.css
/media/jui/css/bootstrap.min.css
/media/jui/css/bootstrap-responsive.min.css
/media/jui/css/bootstrap-extended.css
/plugins/system/jsntplframework/assets/3rd-party/bootstrap/css/bootstrap-frontend.min.css
/plugins/system/jsntplframework/assets/3rd-party/bootstrap/css/bootstrap-responsive-frontend.min.css
/modules/mod_cookiesaccept/screen.css
/modules/mod_slideshowck/themes/default/css/camera.css
/plugins/system/jqueryeasy/jquerynoconflict.js
/media/system/js/mootools-core.js
/media/system/js/core.js
/media/system/js/mootools-more.js
/media/system/js/modal.js
/media/jui/js/bootstrap.min.js
/components/com_flexicontent/assets/js/fcvote.js
/components/com_flexicontent/assets/js/fcfav.js
/components/com_flexicontent/assets/js/tabber-minimized.js
/media/modals/js/jquery.colorbox-min.js
/media/modals/js/script.min.js
/plugins/system/jsntplframework/assets/joomlashine/js/noconflict.js
/plugins/system/jsntplframework/assets/joomlashine/js/utils.js
/modules/mod_slideshowck/assets/jquery.easing.1.3.js
/modules/mod_slideshowck/assets/camera.min.js
/media/system/css/system.css
/templates/jsn_boot_pro/images/colors/christmas/aurora-mobile.jpg
/templates/jsn_boot_pro/images/colors/christmas/header-light-grad.png
/templates/jsn_boot_pro/images/icons/icons-uni-white.png
/templates/jsn_boot_pro/images/icons/icons-mobile-white.png
/templates/jsn_boot_pro/images/icons/icons-uni.png
/templates/jsn_boot_pro/images/gradient-footer-bg-wide.png
/templates/jsn_boot_pro/images/colors/christmas/usermodules3-bg.png
/templates/jsn_boot_pro/images/colors/christmas/footer-bg.jpg
/templates/jsn_boot_pro/images/colors/christmas/footer-snow-bg.png

/modules/mod_cookiesaccept/img/przez_b.png

Pour finir, il est utile de renvoyer le robots.txt à Google via les GWT afin de lui signifier sans tarder les changements (= Menu GWT : Exploration > Outil de test du fichier robots.txt > Bouton [ENVOYER]).

On peut ensuite surveiller la réindexation du site avec le robots.txt corrigé, mais elle est loin d'être immédiate et l'index (= Menu GWT : Index Google > Ressources bloquées) peut signaler pendant encore pas mal de temps que certaines ressources libérées sont toujours bloquées.

En cas de doute, il est possible d'utiliser l'outil de test en temps réel du fichier robots.txt : saisir l'URL mentionnée comme bloquée dans le champ situé en bas de page, puis appuyer sur le bouton [TESTER]. Si malgré ce qu'en dit la page 'Index Google' le fichier est effectivement indexable, il est précédé d'une coche verte et surligné en vert. Dans le cas contraire, il faut encore retoucher le robots.txt, le renvoyer sur le site et signaler le changement comme déjà expliqué.



Bon courage

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Ah ouais... quand même !
Si en plus les GWT ne voient pas tout de suite les corrections, j'ai intérêt à réfléchir pour trouver un moyen d'établir une liste sans doublons de toutes les ressources bloquées sur toutes les pages de mon site.
Parce que si je corrige celle de la page d'accueil d'abord, puis que je demande celles qui sont bloquées sur la page trumuche, je risque de me retrouver à devoir vérifier a mano que je ne travaille pas deux fois la même chose (bah oui parce qu'à raison de 40 petites choses par page, ça risque de me prendre bien plus qu'un weekend ).
Un petit passage par excel devrait pouvoir m'aider.
Merci encore pour la précision de tes conseils et explications. Je me sens seule maintenant que je sais que tout le monde reçoit cette alerte
Bonne journée !

[PhilJ]

Bonjour,

Ah ouais... quand même ! Si en plus les GWT ne voient pas tout de suite les corrections, j'ai intérêt à réfléchir pour trouver un moyen d'établir une liste sans doublons de toutes les ressources bloquées sur toutes les pages de mon site. Parce que si je corrige celle de la page d'accueil d'abord, puis que je demande celles qui sont bloquées sur la page trumuche, je risque de me retrouver à devoir vérifier a mano que je ne travaille pas deux fois la même chose (bah oui parce qu'à raison de 40 petites choses par page, ça risque de me prendre bien plus qu'un weekend ).

...Oui. C'est pourquoi j'ai conseillé de prendre le temps d'une première étape consistant à identifier les types de pages plutôt que les pages :
—

1. Faire l'inventaire des types de pages du site.

Par exemple, sur un site de e-commerce (ou de la même façon sur un site de type catalogue de produits sans vente en ligne), les pages du composant e-commerce (ou catalogue) sont principalement de 2 types : (1) les pages listant les produits d'une catégorie, et (2) les pages produits. Il peut y avoir 100 catégories et sous-catégories et 10.000 produits, cela fera toujours 2 types de pages, pas davantage.

Il est évident que ces deux types de pages sont à traiter avec soin du point de vue de la compatibilité avec les appareils mobiles, et qu'il ne suffit donc pas d'assurer du succès du test Google Mobile avec la seule page d'accueil du site.

Paradoxalement, sur un simple site vitrine, les types de pages peuvent être plus nombreuses qu'on ne l'imagine d'abord. Par exemple, la page d'accueil est presque toujours un type de page à elle toute seule (notamment parce qu'elle mobilise des modules qui ne sont pas présents sur les autres pages — typiquement un diaporama). Idem pour la page de contact (du fait du formulaire de contact). Ordinairement, un site vitrine comporte ainsi entre 3 et 5 types de pages, même alors que le nombre total de pages n'excède pas les 10 pages. Mais ce nombre reste souvent stable au-delà, même si le site comporte 40 ou 50 pages.

En résumé, si on ne prend pas la peine et le temps de faire cet inventaire des types de pages, on s'expose à une sous-indexation (sur appareils mobiles) d'un certain nombre de pages du site et / ou à des rappels incessants de Google et donc à des correctifs nombreux, c'est-à-dire en définitive à une perte de temps substantielle. Donc il vaut vraiment mieux commencer par cette étape — qui n'est d'ailleurs pas si longue quand on a soi-même construit le site.


Amicalement,



PhilJ

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Question idiote

Et si on autorisait (presque) tout au Googlebot par un

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/

User-agent: *
le robots.txt de base de Joomla

Quels seraient les inconvénients, sachant que tout le monde peut lire ce fichier et voir ce que l'on veut cacher ?

et même d'une façon encore plus générale : quel est l'intérêt de ce fichier, hormis donner l'adresse du sitemap ?

[manu93fr]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,
il me semble qu'il evite aux moteurs de recherche (les gentils moteurs) d'indexer des urls qui n'ont pas lieu d'etre ... ou qui ne serait pas pertinentes
En gros on leur dit "pas la peine d'aller par là ... aucun interet"

Il ne sert pas a "cacher" quoi que ce soit ... a mon avis

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

@lomart : pas une question idiote du tout, sauf que comme on peut le voir avec l'exemple des fichiers bloqués de la page d'accueil du site de Florence (liste des bloqués ci-dessus : http://forum.joomla.fr/showthread.ph...=1#post1070484), ce ne serait pas une bonne idée de bloquer sans nuances l'accès à tous les fichiers des dossiers /component/ et /modules/.

A noter enfin : dans certains cas, l'expérience montre qu'il faut aussi débloquer certains fichiers qui se trouvent dans /plugins/.

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Il (= le fichier robots.txt) ne sert pas a "cacher" quoi que ce soit ... a mon avis

Très juste. Il sert seulement à indiquer aux moteurs de recherche quels fichiers indexer et quels fichiers ne pas indexer. Mais il ne permet pas de dissimuler ceux dont on demande que l'indexation soit bloquée.

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Très juste. Il sert seulement à indiquer aux moteurs de recherche quels fichiers indexer

Il sait très bien le faire sans ce fichier puisque Googlebot se plaint de ne pas pouvoir accéder aux dossiers où il se trouvent. De plus, cela me semble être plus la fonction du sitemap.

et quels fichiers ne pas indexer.

Là, c'est intéressant !
Donc, on pourrait imaginer un robots.txt où tout est permis sauf ce qui est interdit

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Il sait très bien le faire sans ce fichier puisque Googlebot se plaint de ne pas pouvoir accéder aux dossiers où il se trouvent. De plus, cela me semble être plus la fonction du sitemap.

...ou d'un .htaccess, etc.

Donc, on pourrait imaginer un robots.txt où tout est permis sauf ce qui est interdit

Oui. Mais au fond c'est ce que l'on met en place avec des Disallow: et Allow:

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Oui. Mais au fond c'est ce que l'on met en place avec des Disallow: et Allow:

Tout à fait, mais au lieu de réfléchir à ce que l'on doit autoriser, il serait plus simple de chercher, 'presque' une bonne foi pour toutes, les endroits où le bot ne doit pas fourrer ses pinces.
Et comme cela, on a un robots.txt bon pour le service sans modifs. Et si on met en place une extension ayant des choses à cacher, il suffit de l'ajouter !

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Tout à fait, mais au lieu de réfléchir à ce que l'on doit autoriser, il serait plus simple de chercher, 'presque' une bonne foi pour toutes, les endroits où le bot ne doit pas fourrer ses pinces.
Et comme cela, on a un robots.txt bon pour le service sans modifs. Et si on met en place une extension ayant des choses à cacher, il suffit de l'ajouter !

Oui, c'est une façon d'envisager le sujet qui paraît correcte.

Les dossiers qui devraient normalement être toujours interdits sont :
—

/administrator/
/cache/
/cli/
/includes/
/installation/
/language/
/libraries/
/logs/
/tmp/

Cependant, les questions se poseront toujours au cas par cas pour les dossiers :
—

/components/
/modules/
/plugins/

Pour ceux-là je ne vois pas bien comment il pourrait exister une version du robots.txt valable universellement et une bonne fois pour toutes car chaque site est différent :-\