Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Exact c'était l'objet du post #30 dans ce fil (comme le temps passe !)

A quoi j'avais ajouté (post # 31) la suggestion de mettre aussi (sauf exceptions) ces 3 autres directives générales :
—

Allow: *.gif
Allow: *.jpg
Allow: *.png

de façon à permettre à Google d'évaluer au mieux l'affichage en tenant compte aussi des images (http://forum.joomla.fr/showthread.ph...=1#post1070871).

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

Pour info,

https://github.com/joomla/joomla-cms/pull/7681

Pe7er (Peter Martin) propose d'ajouter les lignes suivantes au fichier robots.txt

User-Agent: Googlebot
Allow: .js
Allow: .css

Exact c'était l'objet du post #30 dans ce fil (comme le temps passe !)

[daneel]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

Pour info,

https://github.com/joomla/joomla-cms/pull/7681

Pe7er (Peter Martin) propose d'ajouter les lignes suivantes au fichier robots.txt

User-Agent: Googlebot
Allow: .js
Allow: .css

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Ca confirme donc mon pressentiment que si ce n'est pas "bloqué", alors tout va bien.

Je ne crois vraiment pas qu'on puisse en conclure cela, car si, pour une raison ou pour une autre, certaines ressources sont momentanément inaccessibles aux outils de test de Google, les scripts Google ne renvoient pas d'information sur leur statut bloquées ou débloquées (par un robots.txt ou un .htaccess). Ils signalent alors seulement qu'ils ne sont pas parvenus à une inspection complète des ressources utilisées pour l'affichage de la page testée.

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

En faisant une recherche sur le site d'aide de Google
(ici : https://support.google.com/webmaster.../6066468?hl=fr )
je lis que les fichiers dont les URL sont momentanément indisponibles ... :


Exploration

1) L'outil Explorer comme Google ne peut actuellement pas explorer votre URL, car le temps de réponse du serveur a été trop long.

OU

2) L'outil Explorer comme Google a annulé votre exploration, car le serveur a reçu trop de requêtes consécutives pour différentes URL.

Remarques et étapes suivantes :

Sachez que l'URL n'est pas inaccessible pour tous nos services ; seul l'outil de simulation Explorer comme Google ne peut pas y accéder


Ca confirme donc mon pressentiment que si ce n'est pas "bloqué", alors tout va bien.

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bah oui, parce que dans le lien que tu as donné pour les 2 lignes de code à rajouter au robots.txt, il y avait une vidéo, laquelle expliquait fort bien cette fonctionnalité, en concluant sur "and now Google is happy !"

C'est vrai ?

merdalors je devrais lire plus souvent ce que j'écris alors

Plus sérieusement je m'en suis aperçu après oui, comme quoi ... !

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je ne lâche pas le fil moi !

(...)on arrive alors sur une page composée de deux onglets : Récupération qui donne le contenu source de la page et l'onglet Affichage qui montre comment Google 'voit' la page (avec à côté la manière dont elle sera affichée à l'utilisateur final). Instructif je vous l'assure.
(...)
Je croyais tout savoir (ou presque) sur GWT j'en apprend tous les jours

Ah mince ! Pour une fois c'est moi qui aurais pu t'apprendre quelque chose passke ça je le savais ! Grâce à qui ? ben... laisse moi réfléchir... à toi tiens !
Bah oui, parce que dans le lien que tu as donné pour les 2 lignes de code à rajouter au robots.txt, il y avait une vidéo, laquelle expliquait fort bien cette fonctionnalité, en concluant sur "and now Google is happy !"
ceci dit, les ressources sont systématiquement "temporairement inaccessibles"...
Bon, ben , en attendant, je vais considérer que ce qui n'est pas "bloqué" est accessible, j'essaierai de penser à retourner vérifier plus tard.

PS: Et, devant l'ampleur de la tâche, je me suis contentée d'ajouter la consigne pour googlebot autorisant tous les css, tous les js, et tous les formats image.

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,


Merci de cette indication. J'ai testé cette voie (sur une page d'accueil) et elle ne manque pas d'intérêt, mais surtout pour l'image « Voici comment un visiteur de votre site aurait vu la page », car pour l'image « Voici comment la page a été vue par Googlebot », alors que toutes les ressources de la page sont accessibles à Googlebot, j'obtiens hélas de nombreux avertissements « URL momentanément inaccessible »... exactement comme ce qui se produit si souvent avec le test Google mobile :-\

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je ne lâche pas le fil moi !

Je viens de m'apercevoir de quelque chose de très pratique, bien plus que les outils proposés par GWT dans la rubrique Index Google > Ressources bloquées ou encore Trafic de Recherche > Ergonomie mobile qui il faut bien le reconnaître ne sont ni pratique ni réactives !

Saviez vous que lorsque l'on utilise Exploration > Explorer comme Google, on peut certes donner des url à indexer (avec ou sans les dépendances descendantes), mais que l'on peut aussi utiliser le lien Explorer et Afficher.
Lorsque l'exploration est terminée, il est possible de cliquer sur le petit symbole >> à droite du lien soumis


on arrive alors sur une page composée de deux onglets : Récupération qui donne le contenu source de la page et l'onglet Affichage qui montre comment Google 'voit' la page (avec à côté la manière dont elle sera affichée à l'utilisateur final). Instructif je vous l'assure.


En dessous on trouve pour la page en question (bien plus rapidement qu'avec les outils de la rubrique Ressources bloquées) les urls des fichiers inaccessibles, le motif etc ... et de manière non seulement plus rapide mais aussi plus pratique. On peut même accéder au contenu du fichier inaccessible !! comme quoi Google n'a absolument pas besoin d'autorisations du robots.txt pour accéder à ces fichiers

Je croyais tout savoir (ou presque) sur GWT j'en apprend tous les jours

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

On ne va pas passer l'année sur ce fil, je vais donc répondre uniquement sur ce point

Pour moi c'est le sujet dans la mesure où le titre de ce fil est 'Accès de Googlebot aux fichiers CSS et JS impossible sur le site'.

Tout à fait, mais ma première intervention avait pour but d'élargir le problème en posant la question :
Quel serait le fichier ROBOTS.TXT qui poserait le moins de souci avec Google ?
Alors que vous partiez dans une logique de chercher ce qu'il faut autoriser avec le risque d'en oublier, je soumettais l'idée qu'il est plus facile de savoir ce que l'on veut interdire. C'est tout !

J'en reste donc sur mon idée que si nous n'avons rien de particulier à cacher, le robots.txt idéal peut être celui que j'indique dans mon post #16, en ajoutant, au cas par cas, des disallow pour les dossiers contenants des ressources à masquer.

A bientôt sur d'autres sujets, tout aussi passionnants

[PhilJ]

[...] il me semble bien que Google doit vouloir indexer bien plus que des pages : sinon, pourquoi conseillerait-on de disallow templates, temp, administrator, components, etc. ??

En fait, les récentes alertes de Google ne visent pas fondamentalement à demander aux webmasters de permettre l'indexation des nombreux éléments des pages, mais à rendre possible l'évaluation de la compatibilité des pages indexables avec les appareils mobiles. Les éléments en question sont essentiellement les images, les feuilles de style, et les scripts.

Concernant spécifiquement les fichiers des templates : Disallow: /templates/ est désormais déconseillé par Joomla, au même titre d'ailleurs que /medias/. L'annonce de ce changement s'affiche par défaut sur l'accueil de l'administration des sites Joomla à jour :
—

Un changement est intervenu dans le fichier robots.txt dans Joomla 3.3 pour permettre à Google d'accéder par défaut aux templates et fichiers médias. Ce changement n'est pas appliqué automatiquement lors d'une mise à jour. Il est recommandé aux utilisateurs de vérifier les changements intervenus dans le fichier robots.txt.dist et de mettre en œuvre ceux-ci dans leurs fichiers robots.txt.

Voir aussi, par exemple : https://docs.joomla.org/Robots.txt_file

Aussi : c'est /tmp/ et non pas /temp/.

[PhilJ]

Bonjour,

Pour moi, ce n'est pas le sujet (voir plus bas dans ma réponse).

Pour moi c'est le sujet dans la mesure où le titre de ce fil est 'Accès de Googlebot aux fichiers CSS et JS impossible sur le site'.

Sauf erreur de ma part, Google est obligatoirement obligé de se plier aux directives d'un htaccess qui ne suggère pas mais refuse de donner le contenu.

C'est vrai, mais sans faire de test(s), comment savoir si cette obligation est respectée concernant le sujet, ie l'évaluation par Google de la compatibilité des pages du site avec les appareils mobiles ? En effet, pour que Google évalue positivement ce critère, il ne suffit manifestement pas que le site soit compatible avec les appareils mobiles. Or les messages massivement envoyés par Google, ainsi que le test de compatibilité déjà plusieurs fois évoqué, parlent des limitations rencontrées dans le robots.txt, et jamais de celles se trouvant dans des fichiers .htaccess.

Je n'ai pas eu le temps de faire ce genre de test mais je vais le faire (incessamment sous peu ) parce que je crois qu'on ne peut pas deviner / connaître a priori les procédures utilisées par le script d'évaluation utilisé par Google.

1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?

Évidemment que oui, mais les « alertes » récemment lancées par Google concernent l'accessibilité de ses scripts aux ressources des différentes pages d'un site. Autrement dit, ce qui est en discussion est de savoir comment satisfaire aux exigences de Google, et pas fondamentalement la compatibilité avec les appareils mobiles, laquelle est un prérequis évident de ce qui est en question.

2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?

Mêmes réponses que ci-dessus.

3 - une page contact ou devis ne devrait jamais être indexée. Quel bel accueil pour un futur client : signez là !

Je connais au moins un cas où ce raisonnement ne serait pas adapté : le site d'un client situé en région parisienne dont la page de contact apparaît dès les premiers résultats de la première page des SERP pour une requête de type "SSII ville". Malgré mes conseils (éclairés ), les autres pages sont « à la ramasse » pour cette requête (page 4 ou 5 des SERP, voire davantage), cela parce que le client, animé par des ambitions nationales, ne souhaitait pas communiquer sur la localisation de son entreprise sur les autres pages. En page de contact en revanche, l'adresse physique de son entreprise apparaît clairement. Donc, dans ce cas, si nous empêchions l'indexation de la page de contact, l'entreprise de ce client deviendrait totalement introuvable pour cette requête. => Pas une bonne idée dans ce cas de figure.

C'est en partant de ces principes que je suis pour un robots.txt qui conseille de ne pas indexer les fichiers indexables (images, pdf, documents texte et tableur) que l'on ne veut pas voir ressortir par une requête filetype.

D'accord pour les PDF, documents texte et tableur, qui (en principe) s'affichent dans des contenants distincts (= des fenêtres indépendantes), mais pas d'accord pour les images, du moins sans discernement, dans la mesure où elles s'affichent dans les pages du site à indexer et que le script vérifiant la compatibilité avec les appareils mobiles a besoin d'en évaluer l'encombrement.


Bon week-end (studieux ).

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Même pas, car j'avais oublié le point d'interrogation à la fin de mes phrases, qu'il faut donc lire ainsi :
1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?
2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?
Si ce n'était pas le cas, je me contredirait 3 phrases plus loin: "les noindex, nofollow permettent d'indiquer qu'un lien -bien tentant- n'est pas à indexer ..."

Pour l'histoire du sitemap, j'avais bien dit : en s'aidant du sitemap

Alors :

1- merci de m'avoir fait remarquer ce défaut de conception : problème réglé en réajustant la largeur des champs pour qu'ils s'affichent désormais en entier sur mon petit iPhone 4

2 - cette histoire de noindex me laisse un peu perplexe : bien sûr, je règle les pages que je ne veux pas voir indexées avec ce paramètre. Mais il me semble bien que Google doit vouloir indexer bien plus que des pages : sinon, pourquoi conseillerait-on de disallow templates, temp, administrator, components, etc. ??

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bon ben voilà ... nous sommes d'accord alors ? (avec un point d'interrogation) chouette ! (avec un point d'exclamation)

[lomart]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Je serais assez d'accord avec @lomart à un (très) léger distingo près

Même pas, car j'avais oublié le point d'interrogation à la fin de mes phrases, qu'il faut donc lire ainsi :
1 - ne faudrait-il pas commencer par les rendre mobile-friendly ?
2 - ce n'est pas le rôle de noindex d'empêcher l'indexation de certaines pages ?
Si ce n'était pas le cas, je me contredirait 3 phrases plus loin: "les noindex, nofollow permettent d'indiquer qu'un lien -bien tentant- n'est pas à indexer ..."

Pour l'histoire du sitemap, j'avais bien dit : en s'aidant du sitemap