Accès de Googlebot aux fichiers CSS et JS impossible

[django29]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Donc, concrètement, doit-on modifier robots.txt, et comment ?

Le forum Google contient de nombreux messages récents sur ce sujet. Exemple de réponse :
Generally, it's best to allow Google to crawl any .css or .js file that affects the layout and other display properties of your website.
So, I suggest looking in each of those folders and checking which have got .css and/or .js documents in them.
If you inspect the head section of your home page source code, you can see immediately that some .css is fetched from the /modules/ folder that you have blocked in your robots.txt.
Don't worry if [ Disallow: /modules/ ] happens to be part of the standard/default used by your CMS. It's a relatively new thing that Google needs to see those documents --- eg Google has a "page layout" algorithm that determines how much (and what type) of content your page displays "above the fold" ie immediately visible when a user lands on your page without scrolling down. The .css is highly relevant here because it will specify font-sizes and div dimensions.

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Robert tu suggères donc de modifier nos fichiers ? Quelles conséquences est-ce que cela pourrait avoir par ailleurs ?

merci à toi

[Talleyrand]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Visiblement le problème ne concerne pas que Joomla, Wordpress pose aussi https://productforums.google.com/for...rs/C0mjUODT_VQ

[RobertG]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

0 erreur ne veut pas dire que Google peut accéder à tout ce qu'il souhaite pour valider, seulement que le fichier est correctement construit.

Pour une validation mobile (et donc une indexation correcte des pages du site de manière globale), Google exige maintenant de pouvoir accéder à ces feuilles de styles et fichiers JavaScript : le lui interdire est se pénaliser, sans pour autant interdire à qui que ce soit d'aller chercher le fichier lui-même, le fichier robots.txt n'ayant pour effet que de signaler aux robots (ceux qui le veulent bien) qu'on ne souhaite pas indexer certaines pages, et je ne pense pas que Google aille indexer ces CSS et JS lorsqu'on en autorise l'accès avec le robots.txt

[django29]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

Mes robots.txt sont exactement comme celui de urea72.

J'en suis à une vingtaine de sites signalés comme ayant ce PB, alors que je n'ai modifié aucun des robots.txt depuis des mois ou des années, à part les sites créés récemment.

Comme il y a des CSS et javascript à différents endroits des sites, je ne vois pas comment autoriser Google à les scruter, ni pourquoi il me signale ce PB subitement, si la plupart des autres webmasters Joomla ne reçoivent aucun signalement.

Les tests des robots.txt dans les outils webmaster Google indiques 0 erreurs - 0 avertissement.

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

je viens de télécharger une version joomla et en regardant le fichier robot par défaut, je remarque que ces deux lignes n'existent pas

Disallow: /templates/
Disallow: /media/

voici le robot.txt par défaut:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

est-ce que de votre côté c'est le même problème ? y 'a til quelqu'un pour nous préciser si nous devons supprimer ces deux lignes de nos vieux sites ?


A+

[urea72]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

J'ai aussi le même problème mais j'ai quelques éléments de bizzarerie supplémentaire.

Tout d'abord cela concerne l'affichage pour mobile, deux erreurs 500 apparaisse et pourtant lorsque j’essaie d'accéder aux deux url avec mon téléphone ça marche nickel, cela veux donc dire que googlebot lit la page autrement c'est peut-être un bug.

Ensuite je vais dans l'outil de GWT pour vérifier comment google voit ma page et effectivement il m'affiche des pages mal foutue. Lorsque je regarde quelles ressources poses problème dans mon fichier robot.txt il me dit qu'il n’accède pas à ces ressources :

Disallow: /templates/
Disallow: /components/
Disallow: /media/

Ce qui est étrange c'est que ces accès sont bloqués par défaut depuis toujours.... et il n'est pas question d'y donner accès...
surtout qu'en réalité l'affichage réel sur smartphone est opérationnel...

[RobertG]

Re : Accès de Googlebot aux fichiers CSS et JS impossible

As-tu modifié ton fichier robots.txt pour autoriser cet accès ?
Regarde la dernière version "dist" du pack et compare avec ton robots.txt
Si tu veux limiter les accès tout en n'autorisant que ce que veut Google, utilise par exemple l'outil de tests pour mobiles qui te permet de savoir ce qui est bloqué : https://www.google.com/webmasters/to...bile-friendly/

[django29]

Bonjour

Subitement, Google se met à m'envoyer des messages automatiques me signalant "Accès de Googlebot aux fichiers CSS et JS impossible sur le site http://www.xxxxx "
"Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt."

Mon fichier robots.txt n'a pas été modifié.
8 sites signalés en 1/2h. Je pense qu'il va continuer à m'indiquer tous mes sites.

1 - Pourquoi Google a-t-il soudainement besoin des CSS er javascript pour référencer nos sites Joomla ?

2 - Faut-il corriger quelque chose, et si oui, quoi/comment ?