Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

S'il ne s'agit que de ça alors, il est probable que la solution évoquée ci-après devrait résoudre ton problèem : https://dj-extensions.com/blog/gener...mpaign=default

Personnellement je préfère continuer à agir au cas par cas, mais cette solution semble la moins pire des vite fait ( ... bien fait)

Oui. J'avais pensé à une solution toute simple comme celle-là et j'ai vu qu'elle était récemment préconisée (quoi qu'en plus développée) sur le forum anglophone de Drupal.

Juste une remarque sur ce code. Si les dossiers /modules/, /plugins/ et /components/ sont globalement bloqués, il faudrait peut-être bien ajouter au code que tu évoques de quoi autoriser aussi la visite des images :
—

Allow: *.gif
Allow: *.jpg
Allow: *.png

de façon à ce que Google ne ronchonne pas de nouveau .

=> A tester là aussi.

__________________

@lomart :

As-tu fait des tests de compatibilité Google mobile avec cette méthode des .htaccess ? Si oui, avec quels résultats sur la page de test qui semble servir de référence (= https://www.google.com/webmasters/tools/mobile-friendly) ? Ce que je me demande surtout, c'est si Google respecte bien les directives des .htaccess.

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

On met 1 € dans la machine et on a 4 pages de posts

Blague à part : je viens de mettre en place la solution dont PieceOfCake fait mention.
Super, d'un seul coup ma page d'accueil est devenue visible de Googlebot pratiquement à l'identique d'un internaute.

Sur ma page d'accueil, génial, il ne restait plus que 2 ressources non accessibles (addthis et gstatic)

Mais alors, très bizarrement, sur les autres pages du site que j'ai testées, je suis très surprise de voir que des fichiers css, js, et même png/gif/JPG sont bloqués !

Par exemple sur ma page de demande de devis (www rouchenergies fr / devis-gratuit.html ), j'obtiens les ressources suivantes bloquées :


/libraries/cegcore/assets/gplugins/gtooltip/gtooltip.css
Feuille de style URL momentanément inaccessible

/components/com_imageshow/assets/css/style.css
Feuille de style URL momentanément inaccessible

/media/jui/css/bootstrap.min.css
Feuille de style URL momentanément inaccessible

/plugins/system/jsntplframework/assets/3rd-party/bootstrap/css/bootstrap-responsive-frontend.min.css
Feuille de style URL momentanément inaccessible

/templates/jsn_boot_pro/css/colors/christmas.css
Feuille de style URL momentanément inaccessible

http://s7.addthis.com/js/300/addthis_widget.js
Script Bloqué

https://www.gstatic.com/recaptcha/api2/r20150804120649/recaptcha__en.js
Script Bloqué

/templates/jsn_boot_pro/images/icons/icon-text-info.png
Image URL momentanément inaccessible

/templates/jsn_boot_pro/images/footer-inner-bg-top.png
Image URL momentanément inaccessible

la dernière ligne est un très bon exemple pour montrer ce que je trouve incompréhensible : ce fichier image, googlebot le trouve très bien sur la page d'accueil ! pourquoi ne peut-il y accéder depuis cette page contact ?..

... et puis c'est quoi ces fichiers "momentanément inaccessibles" ??

J'ai refait le test sur la page d'accueil, et de 2 ressources bloquées, je suis revenue à une dizaines de blocages, dont la plupart "momentanément inaccessibles"

Ma foi, je referai le test demain, il y a peut-être un bug quelque part.

Bonne nuit, et encore merci pour l'entraide

[PhilJ]

[...] c'est quoi ces fichiers "momentanément inaccessibles" ??

J'ai refait le test sur la page d'accueil, et de 2 ressources bloquées, je suis revenue à une dizaines de blocages, dont la plupart "momentanément inaccessibles".

Ma foi, je referai le test demain, il y a peut-être un bug quelque part.

Ce test en ligne (https://www.google.com/webmasters/tools/mobile-friendly) est susceptible de deux types d'échecs : (1) des ressources nécessaires à une estimation juste de la compatibilité avec les mobiles sont bloquées, typiquement par le fichier robots.txt, et (2) peut-être parce que trop sollicité, le script permettant le test ne parvient pas à évaluer cette compatibilité dans des délais raisonnables.

Lorsque les deux types d'échecs sont en cause simultanément, on ne sait plus très bien ce qui est dû au premier ordre et ce qui est dû au second ordre... et peut-être que le script ne le sait plus très bien lui-même :-\

_____________________

A mon avis, tu peux retirer les lignes suivantes de ton robots.txt :
—

Disallow: /images/headers/

Disallow: /images/phocagallery/
Disallow: /media/
Disallow: /templates/

à moins qu'il y ait quelque secret à préserver dans ces dossiers.

Par ailleurs, le test sur la page devis.html ne fait que confirmer ce que je dis depuis le début : il faut commencer par repérer les types de pages du site. Si on ne commence pas par là, on opère à l'aveuglette et on s'expose à perdre beaucoup de temps. Ainsi, du fait du formulaire de contact, la page devis.html est manifestement une page à traiter à part. Il suffit d'ailleurs de regarder son code source pour s'en convaincre : elle fait appel à des ressources qui ne sont pas mobilisées sur les autres pages (et à mon avis elle n'est pas compatible mobile au sens du test Google car plusieurs champs de saisie sont trop larges : 341 px, alors que la largeur disponible est tout au plus de 300 px).

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Après quelques jours d'absence, je reviens dans la machine à posts

@lomart :
As-tu fait des tests de compatibilité Google mobile avec cette méthode des .htaccess ? Si oui, avec quels résultats sur la page de test qui semble servir de référence (= https://www.google.com/webmasters/tools/mobile-friendly) ?

Pour moi, ce n'est pas le sujet (voir plus bas dans ma réponse)

@lomart :
Ce que je me demande surtout, c'est si Google respecte bien les directives des .htaccess.

Sauf erreur de ma part, Google est obligatoirement obligé de se plier aux directives d'un htaccess qui ne suggère pas mais refuse de donner le contenu.

Par ailleurs, le test sur la page devis.html ne fait que confirmer ce que je dis depuis le début : il faut commencer par repérer les types de pages du site. Si on ne commence pas par là, on opère à l'aveuglette et on s'expose à perdre beaucoup de temps. Ainsi, du fait du formulaire de contact, la page devis.html est manifestement une page à traiter à part. Il suffit d'ailleurs de regarder son code source pour s'en convaincre : elle fait appel à des ressources qui ne sont pas mobilisées sur les autres pages (et à mon avis elle n'est pas compatible mobile au sens du test Google car plusieurs champs de saisie sont trop larges : 341 px, alors que la largeur disponible est tout au plus de 300 px).

1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?
2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?
3 - une page contact ou devis ne devrait jamais être indexée. Quel bel accueil pour un futur client : signez là !

Pour rendre à Cesar ce qui appartient à Cesar, je pensais que :
- un moteur de recherche indexe un site à partir des liens qu'il trouve en s'aidant du sitemap qui lui est fourni
- le robots.txt a pour rôle de dire aux moteurs de recherche que s'il trouve des choses qui le tentent sur notre serveur, il n'a pas le droit de regarder
- le .htaccess est là pour la gestion du serveur (redirection, interdiction d'accès, ...)
- les noindex, nofollow permettent d'indiquer qu'un lien -bien tentant- n'est pas à indexer, car la page n'a pas d'intérêt ou nous ferait perdre du jus

C'est en partant de ces principes que je suis pour un robots.txt qui conseille de ne pas indexer les fichiers indexables (images, pdf, documents texte et tableur) que l'on ne veut pas voir ressortir par une requête filetype.
Si on veut vraiment les protéger de Google et autres petits malins, le htaccess est la solution. La solution ultime étant de ne pas les mettre sur Internet, comme le disait Eric Schmidt, l'ancien PDG de Google.

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je serais assez d'accord avec @lomart à un (très) léger distingo près :

- un moteur de recherche indexe un site à partir des liens qu'il trouve en s'aidant du sitemap qui lui est fourni

le sitemap est là (lorsqu'il est là) pour faciliter l'indexation du site, en aucun cas une marque exclusive de ce qui est et doit être indexé. Pour cela il suffit de demander à Google d'indexer la page d'accueil (avec ses menus et ses liens internes) pour qu'à force d'à force tout le site soit indexé.

ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages

Ben ... si mais unitairement pas avec des règles générales quoi que ça marche très bien comme ça aussi même si à mon sens ce n'était pas le but visé à l'origine

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je serais assez d'accord avec @lomart à un (très) léger distingo près

Même pas, car j'avais oublié le point d'interrogation à la fin de mes phrases, qu'il faut donc lire ainsi :
1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?
2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?
Si ce n'était pas le cas, je me contredirait 3 phrases plus loin: "les noindex, nofollow permettent d'indiquer qu'un lien -bien tentant- n'est pas à indexer ..."

Pour l'histoire du sitemap, j'avais bien dit : en s'aidant du sitemap

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bon ben voilà ... nous sommes d'accord alors ? (avec un point d'interrogation) chouette ! (avec un point d'exclamation)

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Même pas, car j'avais oublié le point d'interrogation à la fin de mes phrases, qu'il faut donc lire ainsi :
1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?
2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?
Si ce n'était pas le cas, je me contredirait 3 phrases plus loin: "les noindex, nofollow permettent d'indiquer qu'un lien -bien tentant- n'est pas à indexer ..."

Pour l'histoire du sitemap, j'avais bien dit : en s'aidant du sitemap

Alors :

1- merci de m'avoir fait remarquer ce défaut de conception : problème réglé en réajustant la largeur des champs pour qu'ils s'affichent désormais en entier sur mon petit iPhone 4

2 - cette histoire de noindex me laisse un peu perplexe : bien sûr, je règle les pages que je ne veux pas voir indexées avec ce paramètre. Mais il me semble bien que Google doit vouloir indexer bien plus que des pages : sinon, pourquoi conseillerait-on de disallow templates, temp, administrator, components, etc. ??

[PhilJ]

Bonjour,

Pour moi, ce n'est pas le sujet (voir plus bas dans ma réponse).

Pour moi c'est le sujet dans la mesure où le titre de ce fil est 'Accès de Googlebot aux fichiers CSS et JS impossible sur le site'.

Sauf erreur de ma part, Google est obligatoirement obligé de se plier aux directives d'un htaccess qui ne suggère pas mais refuse de donner le contenu.

C'est vrai, mais sans faire de test(s), comment savoir si cette obligation est respectée concernant le sujet, ie l'évaluation par Google de la compatibilité des pages du site avec les appareils mobiles ? En effet, pour que Google évalue positivement ce critère, il ne suffit manifestement pas que le site soit compatible avec les appareils mobiles. Or les messages massivement envoyés par Google, ainsi que le test de compatibilité déjà plusieurs fois évoqué, parlent des limitations rencontrées dans le robots.txt, et jamais de celles se trouvant dans des fichiers .htaccess.

Je n'ai pas eu le temps de faire ce genre de test mais je vais le faire (incessamment sous peu ) parce que je crois qu'on ne peut pas deviner / connaître a priori les procédures utilisées par le script d'évaluation utilisé par Google.

1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?

Évidemment que oui, mais les « alertes » récemment lancées par Google concernent l'accessibilité de ses scripts aux ressources des différentes pages d'un site. Autrement dit, ce qui est en discussion est de savoir comment satisfaire aux exigences de Google, et pas fondamentalement la compatibilité avec les appareils mobiles, laquelle est un prérequis évident de ce qui est en question.

2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?

Mêmes réponses que ci-dessus.

3 - une page contact ou devis ne devrait jamais être indexée. Quel bel accueil pour un futur client : signez là !

Je connais au moins un cas où ce raisonnement ne serait pas adapté : le site d'un client situé en région parisienne dont la page de contact apparaît dès les premiers résultats de la première page des SERP pour une requête de type "SSII ville". Malgré mes conseils (éclairés ), les autres pages sont « à la ramasse » pour cette requête (page 4 ou 5 des SERP, voire davantage), cela parce que le client, animé par des ambitions nationales, ne souhaitait pas communiquer sur la localisation de son entreprise sur les autres pages. En page de contact en revanche, l'adresse physique de son entreprise apparaît clairement. Donc, dans ce cas, si nous empêchions l'indexation de la page de contact, l'entreprise de ce client deviendrait totalement introuvable pour cette requête. => Pas une bonne idée dans ce cas de figure.

C'est en partant de ces principes que je suis pour un robots.txt qui conseille de ne pas indexer les fichiers indexables (images, pdf, documents texte et tableur) que l'on ne veut pas voir ressortir par une requête filetype.

D'accord pour les PDF, documents texte et tableur, qui (en principe) s'affichent dans des contenants distincts (= des fenêtres indépendantes), mais pas d'accord pour les images, du moins sans discernement, dans la mesure où elles s'affichent dans les pages du site à indexer et que le script vérifiant la compatibilité avec les appareils mobiles a besoin d'en évaluer l'encombrement.


Bon week-end (studieux ).

[PhilJ]

[...] il me semble bien que Google doit vouloir indexer bien plus que des pages : sinon, pourquoi conseillerait-on de disallow templates, temp, administrator, components, etc. ??

En fait, les récentes alertes de Google ne visent pas fondamentalement à demander aux webmasters de permettre l'indexation des nombreux éléments des pages, mais à rendre possible l'évaluation de la compatibilité des pages indexables avec les appareils mobiles. Les éléments en question sont essentiellement les images, les feuilles de style, et les scripts.

Concernant spécifiquement les fichiers des templates : Disallow: /templates/ est désormais déconseillé par Joomla, au même titre d'ailleurs que /medias/. L'annonce de ce changement s'affiche par défaut sur l'accueil de l'administration des sites Joomla à jour :
—

Un changement est intervenu dans le fichier robots.txt dans Joomla 3.3 pour permettre à Google d'accéder par défaut aux templates et fichiers médias. Ce changement n'est pas appliqué automatiquement lors d'une mise à jour. Il est recommandé aux utilisateurs de vérifier les changements intervenus dans le fichier robots.txt.dist et de mettre en œuvre ceux-ci dans leurs fichiers robots.txt.

Voir aussi, par exemple : https://docs.joomla.org/Robots.txt_file

Aussi : c'est /tmp/ et non pas /temp/.

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

On ne va pas passer l'année sur ce fil, je vais donc répondre uniquement sur ce point

Pour moi c'est le sujet dans la mesure où le titre de ce fil est 'Accès de Googlebot aux fichiers CSS et JS impossible sur le site'.

Tout à fait, mais ma première intervention avait pour but d'élargir le problème en posant la question :
Quel serait le fichier ROBOTS.TXT qui poserait le moins de souci avec Google ?
Alors que vous partiez dans une logique de chercher ce qu'il faut autoriser avec le risque d'en oublier, je soumettais l'idée qu'il est plus facile de savoir ce que l'on veut interdire. C'est tout !

J'en reste donc sur mon idée que si nous n'avons rien de particulier à cacher, le robots.txt idéal peut être celui que j'indique dans mon post #16, en ajoutant, au cas par cas, des disallow pour les dossiers contenants des ressources à masquer.

A bientôt sur d'autres sujets, tout aussi passionnants

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je ne lâche pas le fil moi !

Je viens de m'apercevoir de quelque chose de très pratique, bien plus que les outils proposés par GWT dans la rubrique Index Google > Ressources bloquées ou encore Trafic de Recherche > Ergonomie mobile qui il faut bien le reconnaître ne sont ni pratique ni réactives !

Saviez vous que lorsque l'on utilise Exploration > Explorer comme Google, on peut certes donner des url à indexer (avec ou sans les dépendances descendantes), mais que l'on peut aussi utiliser le lien Explorer et Afficher.
Lorsque l'exploration est terminée, il est possible de cliquer sur le petit symbole >> à droite du lien soumis


on arrive alors sur une page composée de deux onglets : Récupération qui donne le contenu source de la page et l'onglet Affichage qui montre comment Google 'voit' la page (avec à côté la manière dont elle sera affichée à l'utilisateur final). Instructif je vous l'assure.


En dessous on trouve pour la page en question (bien plus rapidement qu'avec les outils de la rubrique Ressources bloquées) les urls des fichiers inaccessibles, le motif etc ... et de manière non seulement plus rapide mais aussi plus pratique. On peut même accéder au contenu du fichier inaccessible !! comme quoi Google n'a absolument pas besoin d'autorisations du robots.txt pour accéder à ces fichiers

Je croyais tout savoir (ou presque) sur GWT j'en apprend tous les jours

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,


Merci de cette indication. J'ai testé cette voie (sur une page d'accueil) et elle ne manque pas d'intérêt, mais surtout pour l'image « Voici comment un visiteur de votre site aurait vu la page », car pour l'image « Voici comment la page a été vue par Googlebot », alors que toutes les ressources de la page sont accessibles à Googlebot, j'obtiens hélas de nombreux avertissements « URL momentanément inaccessible »... exactement comme ce qui se produit si souvent avec le test Google mobile :-\

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je ne lâche pas le fil moi !

(...)on arrive alors sur une page composée de deux onglets : Récupération qui donne le contenu source de la page et l'onglet Affichage qui montre comment Google 'voit' la page (avec à côté la manière dont elle sera affichée à l'utilisateur final). Instructif je vous l'assure.
(...)
Je croyais tout savoir (ou presque) sur GWT j'en apprend tous les jours

Ah mince ! Pour une fois c'est moi qui aurais pu t'apprendre quelque chose passke ça je le savais ! Grâce à qui ? ben... laisse moi réfléchir... à toi tiens !
Bah oui, parce que dans le lien que tu as donné pour les 2 lignes de code à rajouter au robots.txt, il y avait une vidéo, laquelle expliquait fort bien cette fonctionnalité, en concluant sur "and now Google is happy !"
ceci dit, les ressources sont systématiquement "temporairement inaccessibles"...
Bon, ben , en attendant, je vais considérer que ce qui n'est pas "bloqué" est accessible, j'essaierai de penser à retourner vérifier plus tard.

PS: Et, devant l'ampleur de la tâche, je me suis contentée d'ajouter la consigne pour googlebot autorisant tous les css, tous les js, et tous les formats image.

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bah oui, parce que dans le lien que tu as donné pour les 2 lignes de code à rajouter au robots.txt, il y avait une vidéo, laquelle expliquait fort bien cette fonctionnalité, en concluant sur "and now Google is happy !"

C'est vrai ?

merdalors je devrais lire plus souvent ce que j'écris alors

Plus sérieusement je m'en suis aperçu après oui, comme quoi ... !