[Problème] Accès de Googlebot aux fichiers CSS et JS impossible

[django29]

Bonjour

Subitement, Google se met à m'envoyer des messages automatiques me signalant "Accès de Googlebot aux fichiers CSS et JS impossible sur le site http://www.xxxxx "
"Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt."

Mon fichier robots.txt n'a pas été modifié.
8 sites signalés en 1/2h. Je pense qu'il va continuer à m'indiquer tous mes sites.

1 - Pourquoi Google a-t-il soudainement besoin des CSS er javascript pour référencer nos sites Joomla ?

2 - Faut-il corriger quelque chose, et si oui, quoi/comment ?

[RobertG]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

As-tu modifié ton fichier robots.txt pour autoriser cet accès ?
Regarde la dernière version "dist" du pack et compare avec ton robots.txt
Si tu veux limiter les accès tout en n'autorisant que ce que veut Google, utilise par exemple l'outil de tests pour mobiles qui te permet de savoir ce qui est bloqué : https://www.google.com/webmasters/to...bile-friendly/

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

J'ai aussi le même problème mais j'ai quelques éléments de bizzarerie supplémentaire.

Tout d'abord cela concerne l'affichage pour mobile, deux erreurs 500 apparaisse et pourtant lorsque j’essaie d'accéder aux deux url avec mon téléphone ça marche nickel, cela veux donc dire que googlebot lit la page autrement c'est peut-être un bug.

Ensuite je vais dans l'outil de GWT pour vérifier comment google voit ma page et effectivement il m'affiche des pages mal foutue. Lorsque je regarde quelles ressources poses problème dans mon fichier robot.txt il me dit qu'il n’accède pas à ces ressources :

Disallow: /templates/
Disallow: /components/
Disallow: /media/

Ce qui est étrange c'est que ces accès sont bloqués par défaut depuis toujours.... et il n'est pas question d'y donner accès...
surtout qu'en réalité l'affichage réel sur smartphone est opérationnel...

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

je viens de télécharger une version joomla et en regardant le fichier robot par défaut, je remarque que ces deux lignes n'existent pas

Disallow: /templates/
Disallow: /media/

voici le robot.txt par défaut:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

est-ce que de votre côté c'est le même problème ? y 'a til quelqu'un pour nous préciser si nous devons supprimer ces deux lignes de nos vieux sites ?


A+

[django29]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Mes robots.txt sont exactement comme celui de urea72.

J'en suis à une vingtaine de sites signalés comme ayant ce PB, alors que je n'ai modifié aucun des robots.txt depuis des mois ou des années, à part les sites créés récemment.

Comme il y a des CSS et javascript à différents endroits des sites, je ne vois pas comment autoriser Google à les scruter, ni pourquoi il me signale ce PB subitement, si la plupart des autres webmasters Joomla ne reçoivent aucun signalement.

Les tests des robots.txt dans les outils webmaster Google indiques 0 erreurs - 0 avertissement.

[RobertG]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

0 erreur ne veut pas dire que Google peut accéder à tout ce qu'il souhaite pour valider, seulement que le fichier est correctement construit.

Pour une validation mobile (et donc une indexation correcte des pages du site de manière globale), Google exige maintenant de pouvoir accéder à ces feuilles de styles et fichiers JavaScript : le lui interdire est se pénaliser, sans pour autant interdire à qui que ce soit d'aller chercher le fichier lui-même, le fichier robots.txt n'ayant pour effet que de signaler aux robots (ceux qui le veulent bien) qu'on ne souhaite pas indexer certaines pages, et je ne pense pas que Google aille indexer ces CSS et JS lorsqu'on en autorise l'accès avec le robots.txt

[Talleyrand]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Visiblement le problème ne concerne pas que Joomla, Wordpress pose aussi https://productforums.google.com/for...rs/C0mjUODT_VQ

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Robert tu suggères donc de modifier nos fichiers ? Quelles conséquences est-ce que cela pourrait avoir par ailleurs ?

merci à toi

[django29]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Donc, concrètement, doit-on modifier robots.txt, et comment ?

Le forum Google contient de nombreux messages récents sur ce sujet. Exemple de réponse :
Generally, it's best to allow Google to crawl any .css or .js file that affects the layout and other display properties of your website.
So, I suggest looking in each of those folders and checking which have got .css and/or .js documents in them.
If you inspect the head section of your home page source code, you can see immediately that some .css is fetched from the /modules/ folder that you have blocked in your robots.txt.
Don't worry if [ Disallow: /modules/ ] happens to be part of the standard/default used by your CMS. It's a relatively new thing that Google needs to see those documents --- eg Google has a "page layout" algorithm that determines how much (and what type) of content your page displays "above the fold" ie immediately visible when a user lands on your page without scrolling down. The .css is highly relevant here because it will specify font-sizes and div dimensions.

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

bon après quelques tests si l'on veux que googlebot cesse de nous dir qu'il y a un problème il faut retirer ces lignes du fichier robot txt

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

En gros c'est open bar !!! est-ce que ça veux dire que tout le monde pourra venir faire ses courses ?

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

J'ai d'ailleurs remarqué que dans mon fichier robot qui date d'il y a deux ans je n'avais pas les deux nouvelles lignes suivantes :

Disallow: /layouts/
Disallow: /bin/

Bref c'est un drôle de truc tout ça, je ne sais pas trop comment me comporter... une idée ?

[RobertG]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

N'importe qui peut de toutes façons venir y "faire ses courses" s'il connaît les noms des fichiers, le robots.txt n'empêchant que l'indexation par certains robots.
Et comme ce sont des fichiers dont les adresses sont visibles dans le code-source des pages, il n'y a rien de secret dedans.

[ghazal]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Salut,
j'ai bien l'impression que le monde entier a été impacté par ce message (et J!, WP, Drupal, etc ...).

Sur les forums Google, qqn a suggéré d'ajouter ceci à la fin de robots.txt :

User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*

Ou, plus complet, en ne traitant que que les répertoires concernés :

Allow: /images/*.png
Allow: /images/*.jpg
Allow: /images/*.jpeg
Allow: /images/*.gif
Disallow: /images/
Allow: /media/*.js
Allow: /media/*.css
Disallow: /media
Allow: /modules/*.png
Allow: /modules/*.jpg
Allow: /modules/*.jpeg
Allow: /modules/*.gif
Allow: /modules/*.css
Allow: /modules/*.js
Disallow: /modules/
Allow: /plugins/*.js
Disallow: /plugins/
Allow: /templates/*.css
Allow: /templates/*.js
Disallow: /templates/

A tester.

L'auteur du message a publié un article :
How to Fix Googlebot cannot access CSS and JS files - Beachfront Solutions

https://www.beachfrontsolutions.com/how-to-fix-googlebot-cannot-access-css-and-js-files.html

[cavo789]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Bonsoir

Oui, Google a arosé tout le monde ... ou presque : je n'ai rien reçu, tralalilalère...

J'avais déjà prévu le coup depuis plusieurs mois. Sur aesecure.com, j'ai mis ceci dans mon robots.txt (partiel) :

Disallow: /media/
Allow: /media/mod_languages/images
Allow: /media/jui/js/
Allow: /media/system/css/
Allow: /media/jbtype/css/
Allow: /media/jbtype/font/
Disallow: /modules/
Allow: /modules/mod_xperttweets/tmpl/
Disallow: /plugins/
Allow: /plugins/system/t3/base/bootstrap/js/
Allow: /plugins/system/t3/base/css/
Allow: /plugins/system/t3/base/js/
Allow: /plugins/content/xtypo/assets/
Allow: /plugins/content/xtypo/themes/default/

càd : j'interdis les dossiers /media, /modules, /plugins mais j'autorise, plus spécifiquement, les sous-dossiers où j'ai des css / js.

Il faut en dresser la liste et puis, ensuite, voilà, c'est bon.

[ghazal]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*

Ca a l'air de fonctionner :

https://dl.dropboxusercontent.com/u/32803028/forum/robots_txt_testing.jpg