Accès de Googlebot aux fichiers CSS et JS impossible

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Accès de Googlebot aux fichiers CSS et JS impossible

    Bonjour

    Subitement, Google se met à m'envoyer des messages automatiques me signalant "Accès de Googlebot aux fichiers CSS et JS impossible sur le site http://www.xxxxx "
    "Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt."

    Mon fichier robots.txt n'a pas été modifié.
    8 sites signalés en 1/2h. Je pense qu'il va continuer à m'indiquer tous mes sites.

    1 - Pourquoi Google a-t-il soudainement besoin des CSS er javascript pour référencer nos sites Joomla ?

    2 - Faut-il corriger quelque chose, et si oui, quoi/comment ?
    Dernière édition par django29 à 28/07/2015, 16h22

  • #2
    Re : Accès de Googlebot aux fichiers CSS et JS impossible

    As-tu modifié ton fichier robots.txt pour autoriser cet accès ?
    Regarde la dernière version "dist" du pack et compare avec ton robots.txt
    Si tu veux limiter les accès tout en n'autorisant que ce que veut Google, utilise par exemple l'outil de tests pour mobiles qui te permet de savoir ce qui est bloqué : https://www.google.com/webmasters/to...bile-friendly/
    "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
    MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr chez PHPNET, sites perso chez PlanetHoster + sites gérés chez PHPNET, PlanetHoster, Ionos et OVH

    Commentaire


    • #3
      Re : Accès de Googlebot aux fichiers CSS et JS impossible

      J'ai aussi le même problème mais j'ai quelques éléments de bizzarerie supplémentaire.

      Tout d'abord cela concerne l'affichage pour mobile, deux erreurs 500 apparaisse et pourtant lorsque j’essaie d'accéder aux deux url avec mon téléphone ça marche nickel, cela veux donc dire que googlebot lit la page autrement c'est peut-être un bug.

      Ensuite je vais dans l'outil de GWT pour vérifier comment google voit ma page et effectivement il m'affiche des pages mal foutue. Lorsque je regarde quelles ressources poses problème dans mon fichier robot.txt il me dit qu'il n’accède pas à ces ressources :

      Disallow: /templates/
      Disallow: /components/
      Disallow: /media/

      Ce qui est étrange c'est que ces accès sont bloqués par défaut depuis toujours.... et il n'est pas question d'y donner accès...
      surtout qu'en réalité l'affichage réel sur smartphone est opérationnel...

      Commentaire


      • #4
        Re : Accès de Googlebot aux fichiers CSS et JS impossible

        je viens de télécharger une version joomla et en regardant le fichier robot par défaut, je remarque que ces deux lignes n'existent pas

        Disallow: /templates/
        Disallow: /media/

        voici le robot.txt par défaut:

        User-agent: *
        Disallow: /administrator/
        Disallow: /bin/
        Disallow: /cache/
        Disallow: /cli/
        Disallow: /components/
        Disallow: /includes/
        Disallow: /installation/
        Disallow: /language/
        Disallow: /layouts/
        Disallow: /libraries/
        Disallow: /logs/
        Disallow: /modules/
        Disallow: /plugins/
        Disallow: /tmp/

        est-ce que de votre côté c'est le même problème ? y 'a til quelqu'un pour nous préciser si nous devons supprimer ces deux lignes de nos vieux sites ?


        A+

        Commentaire


        • #5
          Re : Accès de Googlebot aux fichiers CSS et JS impossible

          Mes robots.txt sont exactement comme celui de urea72.

          J'en suis à une vingtaine de sites signalés comme ayant ce PB, alors que je n'ai modifié aucun des robots.txt depuis des mois ou des années, à part les sites créés récemment.

          Comme il y a des CSS et javascript à différents endroits des sites, je ne vois pas comment autoriser Google à les scruter, ni pourquoi il me signale ce PB subitement, si la plupart des autres webmasters Joomla ne reçoivent aucun signalement.

          Les tests des robots.txt dans les outils webmaster Google indiques 0 erreurs - 0 avertissement.
          Dernière édition par django29 à 28/07/2015, 17h18

          Commentaire


          • #6
            Re : Accès de Googlebot aux fichiers CSS et JS impossible

            0 erreur ne veut pas dire que Google peut accéder à tout ce qu'il souhaite pour valider, seulement que le fichier est correctement construit.

            Pour une validation mobile (et donc une indexation correcte des pages du site de manière globale), Google exige maintenant de pouvoir accéder à ces feuilles de styles et fichiers JavaScript : le lui interdire est se pénaliser, sans pour autant interdire à qui que ce soit d'aller chercher le fichier lui-même, le fichier robots.txt n'ayant pour effet que de signaler aux robots (ceux qui le veulent bien) qu'on ne souhaite pas indexer certaines pages, et je ne pense pas que Google aille indexer ces CSS et JS lorsqu'on en autorise l'accès avec le robots.txt
            "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
            MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr chez PHPNET, sites perso chez PlanetHoster + sites gérés chez PHPNET, PlanetHoster, Ionos et OVH

            Commentaire


            • #7
              Re : Accès de Googlebot aux fichiers CSS et JS impossible

              Visiblement le problème ne concerne pas que Joomla, Wordpress pose aussi https://productforums.google.com/for...rs/C0mjUODT_VQ

              Commentaire


              • #8
                Re : Accès de Googlebot aux fichiers CSS et JS impossible

                Robert tu suggères donc de modifier nos fichiers ? Quelles conséquences est-ce que cela pourrait avoir par ailleurs ?

                merci à toi

                Commentaire


                • #9
                  Re : Accès de Googlebot aux fichiers CSS et JS impossible

                  Donc, concrètement, doit-on modifier robots.txt, et comment ?

                  Le forum Google contient de nombreux messages récents sur ce sujet. Exemple de réponse :
                  Generally, it's best to allow Google to crawl any .css or .js file that affects the layout and other display properties of your website.
                  So, I suggest looking in each of those folders and checking which have got .css and/or .js documents in them.
                  If you inspect the head section of your home page source code, you can see immediately that some .css is fetched from the /modules/ folder that you have blocked in your robots.txt.
                  Don't worry if [ Disallow: /modules/ ] happens to be part of the standard/default used by your CMS. It's a relatively new thing that Google needs to see those documents --- eg Google has a "page layout" algorithm that determines how much (and what type) of content your page displays "above the fold" ie immediately visible when a user lands on your page without scrolling down. The .css is highly relevant here because it will specify font-sizes and div dimensions.
                  Dernière édition par django29 à 28/07/2015, 18h01

                  Commentaire


                  • #10
                    Re : Accès de Googlebot aux fichiers CSS et JS impossible

                    bon après quelques tests si l'on veux que googlebot cesse de nous dir qu'il y a un problème il faut retirer ces lignes du fichier robot txt

                    Disallow: /administrator/
                    Disallow: /cache/
                    Disallow: /cli/
                    Disallow: /components/
                    Disallow: /images/
                    Disallow: /includes/
                    Disallow: /installation/
                    Disallow: /language/
                    Disallow: /libraries/
                    Disallow: /logs/
                    Disallow: /media/
                    Disallow: /modules/
                    Disallow: /plugins/
                    Disallow: /templates/
                    Disallow: /tmp/

                    En gros c'est open bar !!! est-ce que ça veux dire que tout le monde pourra venir faire ses courses ?

                    Commentaire


                    • #11
                      Re : Accès de Googlebot aux fichiers CSS et JS impossible

                      J'ai d'ailleurs remarqué que dans mon fichier robot qui date d'il y a deux ans je n'avais pas les deux nouvelles lignes suivantes :

                      Disallow: /layouts/
                      Disallow: /bin/

                      Bref c'est un drôle de truc tout ça, je ne sais pas trop comment me comporter... une idée ?

                      Commentaire


                      • #12
                        Re : Accès de Googlebot aux fichiers CSS et JS impossible

                        N'importe qui peut de toutes façons venir y "faire ses courses" s'il connaît les noms des fichiers, le robots.txt n'empêchant que l'indexation par certains robots.
                        Et comme ce sont des fichiers dont les adresses sont visibles dans le code-source des pages, il n'y a rien de secret dedans.
                        "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
                        MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr chez PHPNET, sites perso chez PlanetHoster + sites gérés chez PHPNET, PlanetHoster, Ionos et OVH

                        Commentaire


                        • #13
                          Re : Accès de Googlebot aux fichiers CSS et JS impossible

                          Salut,
                          j'ai bien l'impression que le monde entier a été impacté par ce message (et J!, WP, Drupal, etc ...).

                          Sur les forums Google, qqn a suggéré d'ajouter ceci à la fin de robots.txt :

                          User-Agent: Googlebot
                          Allow: /*.js*
                          Allow: /*.css*
                          Ou, plus complet, en ne traitant que que les répertoires concernés :
                          Allow: /images/*.png
                          Allow: /images/*.jpg
                          Allow: /images/*.jpeg
                          Allow: /images/*.gif
                          Disallow: /images/
                          Allow: /media/*.js
                          Allow: /media/*.css
                          Disallow: /media
                          Allow: /modules/*.png
                          Allow: /modules/*.jpg
                          Allow: /modules/*.jpeg
                          Allow: /modules/*.gif
                          Allow: /modules/*.css
                          Allow: /modules/*.js
                          Disallow: /modules/
                          Allow: /plugins/*.js
                          Disallow: /plugins/
                          Allow: /templates/*.css
                          Allow: /templates/*.js
                          Disallow: /templates/
                          A tester.

                          L'auteur du message a publié un article :
                          How to Fix Googlebot cannot access CSS and JS files - Beachfront Solutions
                          Un message d’erreur sur votre site Joomla ... ayez le reflexe de consulter lla base de connaissance : https://kb.joomla.fr

                          Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer

                          Commentaire


                          • #14
                            Re : Accès de Googlebot aux fichiers CSS et JS impossible

                            Bonsoir

                            Oui, Google a arosé tout le monde ... ou presque : je n'ai rien reçu, tralalilalère...

                            J'avais déjà prévu le coup depuis plusieurs mois. Sur aesecure.com, j'ai mis ceci dans mon robots.txt (partiel) :

                            Code:
                            Disallow: /media/
                            Allow: /media/mod_languages/images
                            Allow: /media/jui/js/
                            Allow: /media/system/css/
                            Allow: /media/jbtype/css/
                            Allow: /media/jbtype/font/
                            Disallow: /modules/
                            Allow: /modules/mod_xperttweets/tmpl/
                            Disallow: /plugins/
                            Allow: /plugins/system/t3/base/bootstrap/js/
                            Allow: /plugins/system/t3/base/css/
                            Allow: /plugins/system/t3/base/js/
                            Allow: /plugins/content/xtypo/assets/
                            Allow: /plugins/content/xtypo/themes/default/
                            càd : j'interdis les dossiers /media, /modules, /plugins mais j'autorise, plus spécifiquement, les sous-dossiers où j'ai des css / js.

                            Il faut en dresser la liste et puis, ensuite, voilà, c'est bon.
                            Christophe (cavo789)
                            Mon blog, on y parle Docker, PHP, WSL, Markdown et plein d'autres choses : https://www.avonture.be
                            Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)​

                            Commentaire


                            • #15
                              Re : Accès de Googlebot aux fichiers CSS et JS impossible

                              User-Agent: Googlebot
                              Allow: /*.js*
                              Allow: /*.css*
                              Ca a l'air de fonctionner :
                              Un message d’erreur sur votre site Joomla ... ayez le reflexe de consulter lla base de connaissance : https://kb.joomla.fr

                              Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer

                              Commentaire

                              Annonce

                              Réduire
                              Aucune annonce pour le moment.

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X