Fichier robots.txt incorrect

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Fichier robots.txt incorrect

    Mon environnement : J 3.9.11

    Bonjour,

    Qui pourrait me dire pourquoi Google me dit que mon fichier "robots.txt" est incorrect, prétextant que tout le monde doit pouvoir tout voir ?

    Code:
    Sitemap : https://www.url de mon site/sitemap.xml
    User-agent: *
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /component/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /tmp/
    Disallow: /page-404
    Allow: /modules/mod_popupaholic/js/jquery-cookie.min.js
    Allow: /modules/mod_popupaholic/js/jquery.gafancybox-media.min.js
    Allow: /modules/mod_popupaholic/js/jquery.gafancybox.min.js
    Allow: /modules/mod_popupaholic/js/jquery.popup.js
    Allow: /modules/mod_popupaholic/js/popper.js
    Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
    Allow: /component/osmap/?view=html&id=2
    Avec mes remerciements.

  • #2
    Bonjour,

    Tout ce qui est "allow" doit précéder "disallow".
    Pour le plan de se site, il est à mon avis plus simple de mettre l'adresse du plan XML, sous forme "Sitemap: https://mon_adresse_de_plan.xml"
    "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
    MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr hébergés chez PHPNET - sites perso chez PlanetHoster + sites gérés chez 1and1 et OVH

    Commentaire


    • #3
      Envoyé par RobertG Voir le message
      Bonjour,

      Tout ce qui est "allow" doit précéder "disallow".
      Pour le plan de se site, il est à mon avis plus simple de mettre l'adresse du plan XML, sous forme "Sitemap: https://mon_adresse_de_plan.xml"
      Bonjour RobertG,

      1. ok pour l'ordre,
      2. pour mon sitemap, c'est mon ordre n°1, en tête du fichier robots.txt. Mais dans la dernière ligne, c'est l'url d'affichage du "plan de site" en mode texte sur le site.

      Et cerise sur le gâteau, je découvre ce matin que l'analyse de tous mes "liens intérieurs" débouche sur un code 500 !
      Ce ne serait pas un problème propre au serveur ?

      Commentaire


      • #4
        Ta dernière ligne n'a à mon avis pas de raison d'être, puisque c'est une adresse, qui, si elle est fonctionnelle sur le site, n'a pas de raison d'être bloquée par défaut (et donc à autoriser) par ce fichier robots.txt

        Les erreurs 500 sont a priori provoquées par des instructions dans le fichier .htaccess : il faudrait vérifier de nouveau après ab=voir désactivé ce fichier (ou utilisé les instructions de celui par défaut).
        "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
        MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr hébergés chez PHPNET - sites perso chez PlanetHoster + sites gérés chez 1and1 et OVH

        Commentaire


        • #5
          Une horreur !
          J'ai apporté les modifs suivantes :
          1. dans robots.txt, j'ai bien placé les commandes "disallow" après les "allows",
          2. pour les erreurs 500, ne trouvant pas la raison en analysant mon .htaccess : je l'ai effacé, remis un fichier standard, réinstallé aesecure

          Et quand j'analyse mon site :
          1. on me dit que mon fichier robots.txt est incorrect, avec le message :
          Code:
            L'utilisation du masquage est une infraction aux recommandations de Google puisque l'usager ne reçoit pas de résultats attendus.
          
          Sur votre site vous avez le contenu avec lesquels les systèmes de recherche peuvent avoir de problèmes (JavaScript, les images, Flash etc), lisez les recommandations de Google.
            Nous vérifions votre page avec Googlebot. Le nombre de tous les liens doit être le même pour tous les agents des utilisateurs.
          2. j'ai toujours les mêmes code 500 pour toutes les urls du site !

          J'avoue ne pas comprendre.
          Dernière édition par lendrevi à 20/09/2019, 18h16

          Commentaire


          • #6
            Bonjour,

            Quelques conseils... : Laisser le fichier robots.txt d'origine

            1. Evitez d'ajouter des "allow"....
            Utilisez à la place, jch optimize ou une extension équivalente (il existe des plugins gratuits sur la JED) pour eviter d'avoir à charger des fichiers js et css dans les modules.
            Cela permet de corriger ce gros problème d'optimisation lié à ces extensions. En effet, le repertoire modules doit rester en disallow pour ne pas être indexé, les fichiers javascript et css
            sont dans media qui est autorisé à l'indexation par défaut. Il vaut mieux eviter d'indiquer l'usage d'une extension ou autre pour des raisons de sécurité.

            Le but de JCH, c'est à la fois de lier les fichiers ensemble pour un chargement plus rapide mais aussi de stocker dans un sous-repertoire de media (media/plg_jchoptimize/cache).
            Les liens d'origine sont simplement interceptés et désactivés (sans toucher au code des extensions) et remplacés par les liens de ces fichiers "optimisés" js et css.

            2. Redirigez l'url du plan de site
            Comme indiqué par Simon Kloostra, un spécialiste SEO sous Joomla qui conseille de rediriger le lien osmap (ou autre extension sitemap) à la racine.
            Pour cela, il suffit d'ajouter la ligne suivante dans le htaccess
            RewriteRule ^sitemap.xml$ index.php?option=com_osmap&view=xml&tmpl=component &id=1 [L]

            Source (en français) : https://alphadesign.fr/joomla/checkl...temap-xml.html
            Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

            Commentaire


            • #7
              Merci beaucoup Daneel. Je vais essayer d’appliquer ces conseils. J’avoue être un tantinet découragé devant tant de complications cumulées.

              Commentaire


              • #8
                Envoyé par lendrevi Voir le message
                Merci beaucoup Daneel. Je vais essayer d’appliquer ces conseils. J’avoue être un tantinet découragé devant tant de complications cumulées.
                Oui je comprends, parfois je déprime sur le travail à accomplir et le manque de temps (certains clients ne comprennent pas forcément la nécessité de travailler sur ces "détails"). J'ai bon espoir que les indications et l'aide que l'on donne sur ce forum peuvent encore servir

                J'ai tout de même une petite question sur le disalow sur la page 404. Je ne comprends pas de bloquer l'indexation sachant que l'on gère différemment les erreurs 404. L'indication dans le fichier robots.txt ne fait que bloquer l'accès au contenu de l'url vers nomdetonsite.fr/page-404 , c'est comme bloquer une autre page comme la page d’identification ou d'enregistrement ou une page quelconque. Sauf pour une raison précise, je te conseille de ne pas conserver cette ligne qui ne fait pas partie du modèle de fichiers robots proposés par Joomla.

                Le principe de gestion des erreurs 404, c'est la redirection : on peut rediriger une url tombant en erreur vers la nouvelle url si on a corrigé par exemple l'alias alors que la page est déjà publiée et indexé par le moteur de recherche. Cela peut se faire par l'écriture de la redirection dans le fichier htaccess ou plus facilement depuis le composant de redirection. Enfin, la solution radicale dans le cas d'un changement de cms ou de site, c'est de rediriger toutes les erreurs 404 sur la page d'accueil (on peut également le faire via le fichier htaccess).... C'est brutal mais très mauvais pour le référencement car on perd tout le bénéfice des années précédentes et on repart à zéro (peut être pire si aucun travail sur le SEO).

                Dernière édition par daneel à 20/09/2019, 18h43
                Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

                Commentaire


                • #9
                  Ce disallow sur la page 404 est placé ici parce que j’ai pris le parti de gérer de telles erreurs directement depuis le template (cf. error.php avec une surcharge). J’obtiens ainsi une gestion moins brutale et plus conviviale pour l’utilisateur.
                  Mais en fait, je n’en ai peut-être pas besoin pour autant. Je vais tester.
                  J’apprécie beaucoup tes conseils éclairés et fort bien explicités. Encore merci et bon week-end à toi.

                  ps: tu peux tester ma gestion des pages 404 en utilisant une adresse erronée telle que :
                  https://www.rendez-vous-medecine.com/xxx
                  Je pense que la page d'erreur que j'affiche au client est plus agréable que la norme. En outre, je lui permets de s'en sortir proprement (ex: retour à la page d'accueil), et d'informer l'administrateur (ce qui peut être bien utile pour entretenir le site).
                  Dernière édition par lendrevi à 21/09/2019, 05h21

                  Commentaire

                  Annonce

                  Réduire
                  1 sur 2 < >

                  C'est [Réglé] et on n'en parle plus ?

                  A quoi ça sert ?
                  La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

                  Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

                  Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
                  Comment ajouter la mention [Réglé] à votre discussion ?
                  1 - Aller sur votre discussion et éditer votre premier message :


                  2 - Cliquer sur la liste déroulante Préfixe.

                  3 - Choisir le préfixe [Réglé].


                  4 - Et voilà… votre discussion est désormais identifiée comme réglée.

                  2 sur 2 < >

                  Assistance au forum - Outil de publication d'infos de votre site

                  Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

                  Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

                  Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

                  UTILISER À VOS PROPRES RISQUES :
                  L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

                  Problèmes connus :
                  FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

                  Installation :

                  1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

                  Archive zip : https://github.com/AFUJ/FPA/zipball/master

                  2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

                  3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

                  4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

                  5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

                  6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
                  et remplacer www. votresite .com par votre nom de domaine


                  Exemples:
                  Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
                  Télécharger le script fpa-fr.php dans: /public_html/
                  Pour executer le script: http://www..com/fpa-fr.php

                  Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
                  Télécharger le script fpa-fr.php dans: /public_html/cms/
                  Pour executer le script: http://www..com/cms/fpa-fr.php

                  En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

                  Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
                  Voir plus
                  Voir moins

                  Partenaire de l'association

                  Réduire

                  Hébergeur Web PlanetHoster
                  Travaille ...
                  X