Problème Google entre robots.txt & sitemap.xml

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Problème Google entre robots.txt & sitemap.xml

    Bonjour,
    Pour une url donnée, je me heurte au refus systématique de Google d'indexer une page pourtant bien présente dans mon sitemap.
    Voici le contenu de mon fichier robots.txt :

    Code:
    Sitemap: https://www.rendez-vous-medecine.com/sitemap.xml
    User-agent: *
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /component/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /tmp/
    Allow: /*.js?*
    Allow: /component/osmap/?view=html&id=2
    Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
    Allow: /component/users/?view=registration
    Allow: /component/users/?view=remind
    Allow: /component/users/?view=reset
    Allow: /component/users/?view=login
    Et dans mon sitemap, je demande -entre autres- l'indexation de l'url :

    Code:
    ...
    https://www.rendez-vous-medecine.com/component/osmap/?view=html&id=2
    ...
    ... en accord avec mon second ordre "allow" de mon fichier robots.txt (ici en rouge). Cette url correspond à l'affichage du Plan de site généré par l'extension "osmap"..

    Question : où est mon erreur ?
    Merci à vous.

  • #2
    Bonjour

    A ma connaissance, "Allow" doit toujours précéder "Disallow", et il n'est pas utile d'autoriser un tel accès à OSmap, sans compter qu'il est préférable de donner aux moteurs d'indexation un plan XML ("Sitemap: https://www.rendez-vous-medecine.com...t/osmap/?view= etc.), ce qui n'empêche pas d'avoir une page HTML de plan dans le site.
    "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
    MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.info - Site pro : www.robertg-conseil.fr hébergés chez PHPNET - sites perso chez PlanetHoster + sites gérés chez 1and1 et OVH

    Commentaire


    • #3
      Envoyé par RobertG Voir le message
      Bonjour

      Merci RobertG.
      A ma connaissance, "Allow" doit toujours précéder "Disallow", et il n'est pas utile d'autoriser un tel accès à OSmap, sans compter qu'il est préférable de donner aux moteurs d'indexation un plan XML ("Sitemap: https://www.rendez-vous-medecine.com...t/osmap/?view= etc.), ce qui n'empêche pas d'avoir une page HTML de plan dans le site.
      Je suis complètement perdu avec cette histoire de Googlebot.
      Que je place mes ordres "allow" avant les "disallow", ou inversement, le problème signalé par Google dans ma Search Console est strictement le même.
      À l'origine de mon sitemap, je n'avais pas demandé l'indexation de cette url : mais Google râlait. Je l'ai donc ajouté. Ensuite, il m'a alors reproché de bloquer l'accès à cette url dans mon fichier robots.txt. J'ai alors ajouté l'ordre "allow" pour cette url ... et il râle toujours !

      ps: je ne comprends pas bien ta remarque "... il est préférable de donner aux moteurs d'indexation un plan XML..." : mais j'ai bien un fichier sitemap.xml à la racine, et il est bien en 1ère position dans mon fichier robots.txt
      Dernière édition par lendrevi à 29/10/2019, 09h22

      Commentaire


      • #4
        Bonsoir,
        tu es surtout perdu car tu ne connais pas bien la syntaxe du fichier robots.txt
        regarde par ici : https://www.rankspirit.com/frobots

        Je ne comprends pas bien tes allow, en général, c'est a éviter, les étoiles aussi sont a éviter
        Les bots par défaut scrollent tous sauf les parties disallow définies dans ce fichier robots.txt
        si après tu veux absolument qu'ils suivent une url spécifique, il vaut mieux le plan xml du sitemap quitte a faire des liens cachés pour l'utilisateur mais par pour les robots justement ...

        Perso je mettrait ta ligne de sitemap a la fin de ton fichier ... en plus il sera derrière un user-agent ... et non devant
        Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer

        Commentaire


        • #5
          Envoyé par manu93fr Voir le message
          Bonsoir,
          tu es surtout perdu car tu ne connais pas bien la syntaxe du fichier robots.txt
          regarde par ici : https://www.rankspirit.com/frobots

          Je ne comprends pas bien tes allow, en général, c'est a éviter, les étoiles aussi sont a éviter
          Les bots par défaut scrollent tous sauf les parties disallow définies dans ce fichier robots.txt
          si après tu veux absolument qu'ils suivent une url spécifique, il vaut mieux le plan xml du sitemap quitte a faire des liens cachés pour l'utilisateur mais par pour les robots justement ...

          Perso je mettrait ta ligne de sitemap a la fin de ton fichier ... en plus il sera derrière un user-agent ... et non devant
          Bonjour Manu,
          Je te remercie pour ces bons conseils, et notamment pour ton lien éclairant la syntaxe à bien utiliser. Je te concède humblement que je ne suis nullement spécialiste de l'écriture de ce type de fichier !
          À propos de ton étonnement sur l'emploi des ordres "allow" dans mon fichier "robots.txt", voici un exemple d'explication:
          J'utilise un module tiers "tellafriend" qui permet par un popup d'envoyer le lien de la page consultée à n amis avec un commentaire. J'ai donc créé un lien de menu qui active l'url correspondante, et j'ai ajouté cette url dans mon fichier "sitemap;xml". Mais comme mon fichier "robots.txt" comprend l'ordre
          Code:
          Disallow: /modules/
          , je suis bien contraint à autoriser les robots à voir au moins la partie du module référencé dans le sitemap : d'où la présence de l'ordre complémentaire
          Code:
          Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
          Je viens d'appliquer tes conseils. Que penses-tu, stp, de cette nouvelle version de mon fichier "robots.txt" ?
          Code:
          User-agent: Googlebot
          Allow: .js?
          Allow: /component/osmap/?view=html&id=2
          Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
          Allow: /component/users/?view=registration
          Allow: /component/users/?view=remind
          Allow: /component/users/?view=reset
          Allow: /component/users/?view=login
          User-agent: *
          Disallow: /administrator/
          Disallow: /bin/
          Disallow: /cache/
          Disallow: /cli/
          Disallow: /components/
          Disallow: /component/
          Disallow: /includes/
          Disallow: /installation/
          Disallow: /language/
          Disallow: /layouts/
          Disallow: /libraries/
          Disallow: /logs/
          Disallow: /modules/
          Disallow: /plugins/
          Disallow: /tmp/
          Sitemap: https://www.rendez-vous-medecine.com/sitemap.xml

          Commentaire

          Annonce

          Réduire
          1 sur 2 < >

          C'est [Réglé] et on n'en parle plus ?

          A quoi ça sert ?
          La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

          Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

          Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
          Comment ajouter la mention [Réglé] à votre discussion ?
          1 - Aller sur votre discussion et éditer votre premier message :


          2 - Cliquer sur la liste déroulante Préfixe.

          3 - Choisir le préfixe [Réglé].


          4 - Et voilà… votre discussion est désormais identifiée comme réglée.

          2 sur 2 < >

          Assistance au forum - Outil de publication d'infos de votre site

          Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

          Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

          Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

          UTILISER À VOS PROPRES RISQUES :
          L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

          Problèmes connus :
          FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

          Installation :

          1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

          Archive zip : https://github.com/AFUJ/FPA/zipball/master

          2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

          3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

          4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

          5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

          6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
          et remplacer www. votresite .com par votre nom de domaine


          Exemples:
          Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
          Télécharger le script fpa-fr.php dans: /public_html/
          Pour executer le script: http://www..com/fpa-fr.php

          Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
          Télécharger le script fpa-fr.php dans: /public_html/cms/
          Pour executer le script: http://www..com/cms/fpa-fr.php

          En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

          Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
          Voir plus
          Voir moins

          Partenaire de l'association

          Réduire

          Hébergeur Web PlanetHoster
          Travaille ...
          X