Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • #61
    Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

    Envoyé par PhilJ Voir le message
    A tester :

    Disallow: /site_content/tags.html?id=*&start=*

    ou même plus court :

    Disallow: /site_content/tags.html?*
    Merci PhilJ,
    J'ai modifié mon robots, mais quant à te dire si ça fonctionne, impossible ce soir, Google bloque sur la version précédente et refuse de s'actualiser pour voir la nouvelle version (qui pourtant s'affiche bel et bien quand je clique sur 'afficher le fichier robots en ligne'.

    Note pour moi même : vérifier si les 2 nouvelles instructions permettent bien d'ignorer les URL indésirables
    Disallow: /site_content/tags.html?*
    Disallow: /index.php?option=com_content*
    Flo, Ariège

    Il n'y a que celui qui a honte d'apprendre qui a peur de demander

    Commentaire


    • #62
      Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

      Je viens de tester cette nouvelle instruction (la plus courte) (après m'être souvenue qu'on pouvait renvoyer le robots comme on renvoie le sitemap)
      ... Et l'URL mentionnée en exemple ressort toujours comme autorisée ... Je n'y comprends rien.
      Je vais tester la plus longue mais à mon avis y'a encore un truc que je fais de travers.
      Flo, Ariège

      Il n'y a que celui qui a honte d'apprendre qui a peur de demander

      Commentaire


      • #63
        Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

        J'ai constaté aussi que les règles partaient un peu (beaucoup ?) en vrille après l'ajout des lignes
        User-Agent: Googlebot
        Allow: .js
        Allow: .css
        en fin de robots.txt, rendant tout ce qui est placé avant ces lignes et pourtant préfixé avec un
        User-Agent: *
        obsolète et sans effet. Étonnant non ?

        Tout se passe comme si la rencontre de l'instruction :
        User-Agent: Googlebot
        faisait que Googlebot ignorait purement et simplement ce qu'il y avait entre les deux instructions User-Agent

        du coup j'ai replacé les
        Allow: .js
        Allow: .css
        sous l'instruction
        User-Agent: *
        et tout est revenu en ordre
        Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

        Commentaire


        • #64
          Accès de Googlebot aux fichiers CSS et JS impossible sur le site

          Ah ! merci parce que là je commençais à me dire qu'il y avait un sacré gros problème dans mon robots. Même l'URL administrator.php était autorisée !!
          Zou, je file faire la correction.

          EDIT : retour de test

          Je viens de refaire le test, après avoir remis les lignes destinées à Googlebot à la fin du robtos.txt (après la ligne sitemap).
          Très étonnant mais... ça ne change RIEN.
          Tout ressort comme URL "autorisée".

          J'ai poussé le bouchon jusqu'à tester à nouveau administrator/index.php et... AUTORISEE !!
          Là je me suis dit que c'était forcément l'outil de test de Google qui partait en vrille, alors j'ai essayé en changeant de user :
          Googlebot : autorisée
          Googlebot-news : autorisée
          Googlebot-image : autorisée
          vidéo, mobile... : autorisée
          Mediapartners-Google : BLOQUEE (avec un beau panneau sens interdit en face de la ligne disallow: /administrator/ du robots.txt)
          Adsbot-Google : autorisée

          ?????????????????????????????????????????????????? ??

          J'ai refait les tests avec l'instruction visant à interdire l'indexation de
          rédigée ainsi :
          Disallow: /site_content/tags.html*
          ... là, le test sur l'URL /si​te_​con​ten​t/t​ags​.ht​ml?​id=​124 donne le résultat URL "autorisée" quel que soit le robot, y compris Mediapartner-Google

          Puis j'ai testé l'URL :
          in​dex​.ph​p?o​pti​on=​com​_co​nte​nt&​vie​w=c​ate ​gor​y&l​ayo​ut=​blo​g&i​d=1​00&​Ite​mid​=11​ 47
          alors que j'ai une instruction qui dit :
          Disallow: /index.php?option=com_content*
          ... idem, toujours autorisée, quel que soit le robot Google

          Enfin, j'ai fait un dernier test sur le contenu du dossier images/headers, alors que j'ai une instruction qui dit :
          Disallow: /images/headers/
          J'ai testé l'URL : Disallow: /images/headers/blue-flower.JPG
          ... autorisée, sauf pour Mediapartners-Google

          ????????????????


          2ème ÉDIT;
          Je réalise que j'ai mal lu ton post. J'ai en effet conservé la ligne User agent Googlebot en amont des lignes allow css js et ai tout déplacé en fin de robots, au lieu de faire comme toi qui as autorisé l'indexation des css js etc. à tous les user agent en supprimant la ligne à l'attention du seul Googlebot. Je rectifie ça dès que je peux et je refais mes tests.


          3ème EDIT :
          Bon, ben, cette fois je crois avoir fait la même chose que toi, PieceofCake :

          User-agent: *
          Allow: .css
          Allow: .js
          Allow: .png
          Allow: .gif
          Allow: .jpg
          Allow: .JPG
          Disallow: /administrator/
          Disallow: /cache/
          Disallow: /cli/
          Disallow: /components/
          Disallow: /component/
          Disallow: /site_content/tags.html*
          Disallow: /index.php?option=com_content*
          Disallow: /images/headers/
          Disallow: /images/phocagallery/
          Disallow: /includes/
          Disallow: /installation/
          Disallow: /language/
          Disallow: /libraries/
          Disallow: /logs/
          Disallow: /media/
          Disallow: /modules/
          Disallow: /plugins/
          Disallow: /templates/
          Disallow: /tmp/
          Disallow: /html/

          ... mais, par exemple, l'accès à mon custom.css (dans dossier templates) est... bloqué.
          Par contre les instructions relatives aux URL site_content et tout ça, elles, fonctionnent bien cette fois.

          Mais le but initialement recherché (donner accès aux css, js à Google) n'est plus atteint.
          N'y a-t-il que chez moi que le problème se pose ? Est-ce que j'aurais fait une coquille dans mon robots ?
          Dernière édition par FlodAriege à 20/08/2015, 15h59 Raison: TEST effectué
          Flo, Ariège

          Il n'y a que celui qui a honte d'apprendre qui a peur de demander

          Commentaire


          • #65
            Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

            J'ai détaillé (image à l'appui) tout le processus du post #63 dans un nouveau billet : http://forum.joomla.fr/showthread.ph...txt-par-Google
            Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

            Commentaire

            Annonce

            Réduire
            Aucune annonce pour le moment.

            Partenaire de l'association

            Réduire

            Hébergeur Web PlanetHoster
            Travaille ...
            X