Accès de Googlebot aux fichiers CSS et JS impossible

Réduire
X
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Accès de Googlebot aux fichiers CSS et JS impossible

    Bonjour

    Subitement, Google se met à m'envoyer des messages automatiques me signalant "Accès de Googlebot aux fichiers CSS et JS impossible sur le site http://www.xxxxx "
    "Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt."

    Mon fichier robots.txt n'a pas été modifié.
    8 sites signalés en 1/2h. Je pense qu'il va continuer à m'indiquer tous mes sites.

    1 - Pourquoi Google a-t-il soudainement besoin des CSS er javascript pour référencer nos sites Joomla ?

    2 - Faut-il corriger quelque chose, et si oui, quoi/comment ?
    Dernière édition par django29 à 28/07/2015, 16h22

  • #2
    Re : Accès de Googlebot aux fichiers CSS et JS impossible

    As-tu modifié ton fichier robots.txt pour autoriser cet accès ?
    Regarde la dernière version "dist" du pack et compare avec ton robots.txt
    Si tu veux limiter les accès tout en n'autorisant que ce que veut Google, utilise par exemple l'outil de tests pour mobiles qui te permet de savoir ce qui est bloqué : https://www.google.com/webmasters/to...bile-friendly/
    "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide). MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info hébergés chez PHPNET - +sites gérés chez 1and1 et OVH - Site pro : www.robertg-conseil.fr

    Commentaire


    • #3
      Re : Accès de Googlebot aux fichiers CSS et JS impossible

      J'ai aussi le même problème mais j'ai quelques éléments de bizzarerie supplémentaire.

      Tout d'abord cela concerne l'affichage pour mobile, deux erreurs 500 apparaisse et pourtant lorsque j’essaie d'accéder aux deux url avec mon téléphone ça marche nickel, cela veux donc dire que googlebot lit la page autrement c'est peut-être un bug.

      Ensuite je vais dans l'outil de GWT pour vérifier comment google voit ma page et effectivement il m'affiche des pages mal foutue. Lorsque je regarde quelles ressources poses problème dans mon fichier robot.txt il me dit qu'il n’accède pas à ces ressources :

      Disallow: /templates/
      Disallow: /components/
      Disallow: /media/

      Ce qui est étrange c'est que ces accès sont bloqués par défaut depuis toujours.... et il n'est pas question d'y donner accès...
      surtout qu'en réalité l'affichage réel sur smartphone est opérationnel...

      Commentaire


      • #4
        Re : Accès de Googlebot aux fichiers CSS et JS impossible

        je viens de télécharger une version joomla et en regardant le fichier robot par défaut, je remarque que ces deux lignes n'existent pas

        Disallow: /templates/
        Disallow: /media/

        voici le robot.txt par défaut:

        User-agent: *
        Disallow: /administrator/
        Disallow: /bin/
        Disallow: /cache/
        Disallow: /cli/
        Disallow: /components/
        Disallow: /includes/
        Disallow: /installation/
        Disallow: /language/
        Disallow: /layouts/
        Disallow: /libraries/
        Disallow: /logs/
        Disallow: /modules/
        Disallow: /plugins/
        Disallow: /tmp/

        est-ce que de votre côté c'est le même problème ? y 'a til quelqu'un pour nous préciser si nous devons supprimer ces deux lignes de nos vieux sites ?


        A+

        Commentaire


        • #5
          Re : Accès de Googlebot aux fichiers CSS et JS impossible

          Mes robots.txt sont exactement comme celui de urea72.

          J'en suis à une vingtaine de sites signalés comme ayant ce PB, alors que je n'ai modifié aucun des robots.txt depuis des mois ou des années, à part les sites créés récemment.

          Comme il y a des CSS et javascript à différents endroits des sites, je ne vois pas comment autoriser Google à les scruter, ni pourquoi il me signale ce PB subitement, si la plupart des autres webmasters Joomla ne reçoivent aucun signalement.

          Les tests des robots.txt dans les outils webmaster Google indiques 0 erreurs - 0 avertissement.
          Dernière édition par django29 à 28/07/2015, 17h18

          Commentaire


          • #6
            Re : Accès de Googlebot aux fichiers CSS et JS impossible

            0 erreur ne veut pas dire que Google peut accéder à tout ce qu'il souhaite pour valider, seulement que le fichier est correctement construit.

            Pour une validation mobile (et donc une indexation correcte des pages du site de manière globale), Google exige maintenant de pouvoir accéder à ces feuilles de styles et fichiers JavaScript : le lui interdire est se pénaliser, sans pour autant interdire à qui que ce soit d'aller chercher le fichier lui-même, le fichier robots.txt n'ayant pour effet que de signaler aux robots (ceux qui le veulent bien) qu'on ne souhaite pas indexer certaines pages, et je ne pense pas que Google aille indexer ces CSS et JS lorsqu'on en autorise l'accès avec le robots.txt
            "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide). MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info hébergés chez PHPNET - +sites gérés chez 1and1 et OVH - Site pro : www.robertg-conseil.fr

            Commentaire


            • #7
              Re : Accès de Googlebot aux fichiers CSS et JS impossible

              Visiblement le problème ne concerne pas que Joomla, Wordpress pose aussi https://productforums.google.com/for...rs/C0mjUODT_VQ

              Commentaire


              • #8
                Re : Accès de Googlebot aux fichiers CSS et JS impossible

                Robert tu suggères donc de modifier nos fichiers ? Quelles conséquences est-ce que cela pourrait avoir par ailleurs ?

                merci à toi

                Commentaire


                • #9
                  Re : Accès de Googlebot aux fichiers CSS et JS impossible

                  Donc, concrètement, doit-on modifier robots.txt, et comment ?

                  Le forum Google contient de nombreux messages récents sur ce sujet. Exemple de réponse :
                  Generally, it's best to allow Google to crawl any .css or .js file that affects the layout and other display properties of your website.
                  So, I suggest looking in each of those folders and checking which have got .css and/or .js documents in them.
                  If you inspect the head section of your home page source code, you can see immediately that some .css is fetched from the /modules/ folder that you have blocked in your robots.txt.
                  Don't worry if [ Disallow: /modules/ ] happens to be part of the standard/default used by your CMS. It's a relatively new thing that Google needs to see those documents --- eg Google has a "page layout" algorithm that determines how much (and what type) of content your page displays "above the fold" ie immediately visible when a user lands on your page without scrolling down. The .css is highly relevant here because it will specify font-sizes and div dimensions.
                  Dernière édition par django29 à 28/07/2015, 18h01

                  Commentaire


                  • #10
                    Re : Accès de Googlebot aux fichiers CSS et JS impossible

                    bon après quelques tests si l'on veux que googlebot cesse de nous dir qu'il y a un problème il faut retirer ces lignes du fichier robot txt

                    Disallow: /administrator/
                    Disallow: /cache/
                    Disallow: /cli/
                    Disallow: /components/
                    Disallow: /images/
                    Disallow: /includes/
                    Disallow: /installation/
                    Disallow: /language/
                    Disallow: /libraries/
                    Disallow: /logs/
                    Disallow: /media/
                    Disallow: /modules/
                    Disallow: /plugins/
                    Disallow: /templates/
                    Disallow: /tmp/

                    En gros c'est open bar !!! est-ce que ça veux dire que tout le monde pourra venir faire ses courses ?

                    Commentaire


                    • #11
                      Re : Accès de Googlebot aux fichiers CSS et JS impossible

                      J'ai d'ailleurs remarqué que dans mon fichier robot qui date d'il y a deux ans je n'avais pas les deux nouvelles lignes suivantes :

                      Disallow: /layouts/
                      Disallow: /bin/

                      Bref c'est un drôle de truc tout ça, je ne sais pas trop comment me comporter... une idée ?

                      Commentaire


                      • #12
                        Re : Accès de Googlebot aux fichiers CSS et JS impossible

                        N'importe qui peut de toutes façons venir y "faire ses courses" s'il connaît les noms des fichiers, le robots.txt n'empêchant que l'indexation par certains robots.
                        Et comme ce sont des fichiers dont les adresses sont visibles dans le code-source des pages, il n'y a rien de secret dedans.
                        "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide). MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info hébergés chez PHPNET - +sites gérés chez 1and1 et OVH - Site pro : www.robertg-conseil.fr

                        Commentaire


                        • #13
                          Re : Accès de Googlebot aux fichiers CSS et JS impossible

                          Salut,
                          j'ai bien l'impression que le monde entier a été impacté par ce message (et J!, WP, Drupal, etc ...).

                          Sur les forums Google, qqn a suggéré d'ajouter ceci à la fin de robots.txt :

                          User-Agent: Googlebot
                          Allow: /*.js*
                          Allow: /*.css*
                          Ou, plus complet, en ne traitant que que les répertoires concernés :
                          Allow: /images/*.png
                          Allow: /images/*.jpg
                          Allow: /images/*.jpeg
                          Allow: /images/*.gif
                          Disallow: /images/
                          Allow: /media/*.js
                          Allow: /media/*.css
                          Disallow: /media
                          Allow: /modules/*.png
                          Allow: /modules/*.jpg
                          Allow: /modules/*.jpeg
                          Allow: /modules/*.gif
                          Allow: /modules/*.css
                          Allow: /modules/*.js
                          Disallow: /modules/
                          Allow: /plugins/*.js
                          Disallow: /plugins/
                          Allow: /templates/*.css
                          Allow: /templates/*.js
                          Disallow: /templates/
                          A tester.

                          L'auteur du message a publié un article :
                          How to Fix Googlebot cannot access CSS and JS files - Beachfront Solutions
                          https://www.beachfrontsolutions.com/...-js-files.html
                          Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer

                          Commentaire


                          • #14
                            Re : Accès de Googlebot aux fichiers CSS et JS impossible

                            Bonsoir

                            Oui, Google a arosé tout le monde ... ou presque : je n'ai rien reçu, tralalilalère...

                            J'avais déjà prévu le coup depuis plusieurs mois. Sur aesecure.com, j'ai mis ceci dans mon robots.txt (partiel) :

                            Code:
                            Disallow: /media/
                            Allow: /media/mod_languages/images
                            Allow: /media/jui/js/
                            Allow: /media/system/css/
                            Allow: /media/jbtype/css/
                            Allow: /media/jbtype/font/
                            Disallow: /modules/
                            Allow: /modules/mod_xperttweets/tmpl/
                            Disallow: /plugins/
                            Allow: /plugins/system/t3/base/bootstrap/js/
                            Allow: /plugins/system/t3/base/css/
                            Allow: /plugins/system/t3/base/js/
                            Allow: /plugins/content/xtypo/assets/
                            Allow: /plugins/content/xtypo/themes/default/
                            càd : j'interdis les dossiers /media, /modules, /plugins mais j'autorise, plus spécifiquement, les sous-dossiers où j'ai des css / js.

                            Il faut en dresser la liste et puis, ensuite, voilà, c'est bon.
                            Christophe (cavo789)
                            Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)
                            Développeur de marknotes, logiciel de gestion de prises de notes avec interface web et de multiples convertisseur https://github.com/cavo789/marknotes
                            Mes logiciels OpenSource : https://www.avonture.be

                            Commentaire


                            • #15
                              Re : Accès de Googlebot aux fichiers CSS et JS impossible

                              User-Agent: Googlebot
                              Allow: /*.js*
                              Allow: /*.css*
                              Ca a l'air de fonctionner :
                              https://dl.dropboxusercontent.com/u/...xt_testing.jpg
                              Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer

                              Commentaire

                              Annonce

                              Réduire
                              1 sur 2 < >

                              C'est [Réglé] et on n'en parle plus ?

                              A quoi ça sert ?
                              La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

                              Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

                              Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
                              Comment ajouter la mention [Réglé] à votre discussion ?
                              1 - Aller sur votre discussion et éditer votre premier message :


                              2 - Cliquer sur la liste déroulante Préfixe.

                              3 - Choisir le préfixe [Réglé].


                              4 - Et voilà… votre discussion est désormais identifiée comme réglée.

                              2 sur 2 < >

                              Assistance au forum - Outil de publication d'infos de votre site

                              Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

                              Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

                              Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

                              UTILISER À VOS PROPRES RISQUES :
                              L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

                              Problèmes connus :
                              FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

                              Installation :

                              1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

                              Archive zip : https://github.com/AFUJ/FPA/zipball/master

                              2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

                              3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

                              4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

                              5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

                              6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
                              et remplacer www. votresite .com par votre nom de domaine


                              Exemples:
                              Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/
                              Pour executer le script: http://www..com/fpa-fr.php

                              Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/cms/
                              Pour executer le script: http://www..com/cms/fpa-fr.php

                              En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

                              Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
                              Voir plus
                              Voir moins

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X