Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Réduire
X
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • #61
    Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

    Envoyé par PhilJ Voir le message
    A tester :

    Disallow: /site_content/tags.html?id=*&start=*

    ou même plus court :

    Disallow: /site_content/tags.html?*
    Merci PhilJ,
    J'ai modifié mon robots, mais quant à te dire si ça fonctionne, impossible ce soir, Google bloque sur la version précédente et refuse de s'actualiser pour voir la nouvelle version (qui pourtant s'affiche bel et bien quand je clique sur 'afficher le fichier robots en ligne'.

    Note pour moi même : vérifier si les 2 nouvelles instructions permettent bien d'ignorer les URL indésirables
    Disallow: /site_content/tags.html?*
    Disallow: /index.php?option=com_content*
    Flo, Ariège

    Il n'y a que celui qui a honte d'apprendre qui a peur de demander

    Commentaire


    • #62
      Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

      Je viens de tester cette nouvelle instruction (la plus courte) (après m'être souvenue qu'on pouvait renvoyer le robots comme on renvoie le sitemap)
      ... Et l'URL mentionnée en exemple ressort toujours comme autorisée ... Je n'y comprends rien.
      Je vais tester la plus longue mais à mon avis y'a encore un truc que je fais de travers.
      Flo, Ariège

      Il n'y a que celui qui a honte d'apprendre qui a peur de demander

      Commentaire


      • #63
        Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

        J'ai constaté aussi que les règles partaient un peu (beaucoup ?) en vrille après l'ajout des lignes
        User-Agent: Googlebot
        Allow: .js
        Allow: .css
        en fin de robots.txt, rendant tout ce qui est placé avant ces lignes et pourtant préfixé avec un
        User-Agent: *
        obsolète et sans effet. Étonnant non ?

        Tout se passe comme si la rencontre de l'instruction :
        User-Agent: Googlebot
        faisait que Googlebot ignorait purement et simplement ce qu'il y avait entre les deux instructions User-Agent

        du coup j'ai replacé les
        Allow: .js
        Allow: .css
        sous l'instruction
        User-Agent: *
        et tout est revenu en ordre
        Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

        Commentaire


        • #64
          Accès de Googlebot aux fichiers CSS et JS impossible sur le site

          Ah ! merci parce que là je commençais à me dire qu'il y avait un sacré gros problème dans mon robots. Même l'URL administrator.php était autorisée !!
          Zou, je file faire la correction.

          EDIT : retour de test

          Je viens de refaire le test, après avoir remis les lignes destinées à Googlebot à la fin du robtos.txt (après la ligne sitemap).
          Très étonnant mais... ça ne change RIEN.
          Tout ressort comme URL "autorisée".

          J'ai poussé le bouchon jusqu'à tester à nouveau administrator/index.php et... AUTORISEE !!
          Là je me suis dit que c'était forcément l'outil de test de Google qui partait en vrille, alors j'ai essayé en changeant de user :
          Googlebot : autorisée
          Googlebot-news : autorisée
          Googlebot-image : autorisée
          vidéo, mobile... : autorisée
          Mediapartners-Google : BLOQUEE (avec un beau panneau sens interdit en face de la ligne disallow: /administrator/ du robots.txt)
          Adsbot-Google : autorisée

          ?????????????????????????????????????????????????? ??

          J'ai refait les tests avec l'instruction visant à interdire l'indexation de
          rédigée ainsi :
          Disallow: /site_content/tags.html*
          ... là, le test sur l'URL /si​te_​con​ten​t/t​ags​.ht​ml?​id=​124 donne le résultat URL "autorisée" quel que soit le robot, y compris Mediapartner-Google

          Puis j'ai testé l'URL :
          in​dex​.ph​p?o​pti​on=​com​_co​nte​nt&​vie​w=c​ate ​gor​y&l​ayo​ut=​blo​g&i​d=1​00&​Ite​mid​=11​ 47
          alors que j'ai une instruction qui dit :
          Disallow: /index.php?option=com_content*
          ... idem, toujours autorisée, quel que soit le robot Google

          Enfin, j'ai fait un dernier test sur le contenu du dossier images/headers, alors que j'ai une instruction qui dit :
          Disallow: /images/headers/
          J'ai testé l'URL : Disallow: /images/headers/blue-flower.JPG
          ... autorisée, sauf pour Mediapartners-Google

          ????????????????


          2ème ÉDIT;
          Je réalise que j'ai mal lu ton post. J'ai en effet conservé la ligne User agent Googlebot en amont des lignes allow css js et ai tout déplacé en fin de robots, au lieu de faire comme toi qui as autorisé l'indexation des css js etc. à tous les user agent en supprimant la ligne à l'attention du seul Googlebot. Je rectifie ça dès que je peux et je refais mes tests.


          3ème EDIT :
          Bon, ben, cette fois je crois avoir fait la même chose que toi, PieceofCake :

          User-agent: *
          Allow: .css
          Allow: .js
          Allow: .png
          Allow: .gif
          Allow: .jpg
          Allow: .JPG
          Disallow: /administrator/
          Disallow: /cache/
          Disallow: /cli/
          Disallow: /components/
          Disallow: /component/
          Disallow: /site_content/tags.html*
          Disallow: /index.php?option=com_content*
          Disallow: /images/headers/
          Disallow: /images/phocagallery/
          Disallow: /includes/
          Disallow: /installation/
          Disallow: /language/
          Disallow: /libraries/
          Disallow: /logs/
          Disallow: /media/
          Disallow: /modules/
          Disallow: /plugins/
          Disallow: /templates/
          Disallow: /tmp/
          Disallow: /html/

          ... mais, par exemple, l'accès à mon custom.css (dans dossier templates) est... bloqué.
          Par contre les instructions relatives aux URL site_content et tout ça, elles, fonctionnent bien cette fois.

          Mais le but initialement recherché (donner accès aux css, js à Google) n'est plus atteint.
          N'y a-t-il que chez moi que le problème se pose ? Est-ce que j'aurais fait une coquille dans mon robots ?
          Dernière édition par FlodAriege à 20/08/2015, 15h59 Raison: TEST effectué
          Flo, Ariège

          Il n'y a que celui qui a honte d'apprendre qui a peur de demander

          Commentaire


          • #65
            Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

            J'ai détaillé (image à l'appui) tout le processus du post #63 dans un nouveau billet : http://forum.joomla.fr/showthread.ph...txt-par-Google
            Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

            Commentaire

            Annonce

            Réduire
            1 sur 2 < >

            C'est [Réglé] et on n'en parle plus ?

            A quoi ça sert ?
            La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

            Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

            Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
            Comment ajouter la mention [Réglé] à votre discussion ?
            1 - Aller sur votre discussion et éditer votre premier message :


            2 - Cliquer sur la liste déroulante Préfixe.

            3 - Choisir le préfixe [Réglé].


            4 - Et voilà… votre discussion est désormais identifiée comme réglée.

            2 sur 2 < >

            Assistance au forum - Outil de publication d'infos de votre site

            Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

            Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

            Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

            UTILISER À VOS PROPRES RISQUES :
            L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

            Problèmes connus :
            FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

            Installation :

            1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

            Archive zip : https://github.com/AFUJ/FPA/zipball/master

            2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

            3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

            4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

            5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

            6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
            et remplacer www. votresite .com par votre nom de domaine


            Exemples:
            Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
            Télécharger le script fpa-fr.php dans: /public_html/
            Pour executer le script: http://www..com/fpa-fr.php

            Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
            Télécharger le script fpa-fr.php dans: /public_html/cms/
            Pour executer le script: http://www..com/cms/fpa-fr.php

            En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

            Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
            Voir plus
            Voir moins

            Partenaire de l'association

            Réduire

            Hébergeur Web PlanetHoster
            Travaille ...
            X