Problème Google entre robots.txt & sitemap.xml

**RobertG** · 29/10/2019, 08h09

Bonjour

A ma connaissance, "Allow" doit toujours précéder "Disallow", et il n'est pas utile d'autoriser un tel accès à OSmap, sans compter qu'il est préférable de donner aux moteurs d'indexation un plan XML ("Sitemap: https://www.rendez-vous-medecine.com...t/osmap/?view= etc.), ce qui n'empêche pas d'avoir une page HTML de plan dans le site.

**Visiteur** · 29/10/2019, 08h40

Envoyé par RobertG Voir le message

Bonjour

Merci RobertG.
A ma connaissance, "Allow" doit toujours précéder "Disallow", et il n'est pas utile d'autoriser un tel accès à OSmap, sans compter qu'il est préférable de donner aux moteurs d'indexation un plan XML ("Sitemap: https://www.rendez-vous-medecine.com...t/osmap/?view= etc.), ce qui n'empêche pas d'avoir une page HTML de plan dans le site.

Je suis complètement perdu avec cette histoire de Googlebot.
Que je place mes ordres "allow" avant les "disallow", ou inversement, le problème signalé par Google dans ma Search Console est strictement le même.
À l'origine de mon sitemap, je n'avais pas demandé l'indexation de cette url : mais Google râlait. Je l'ai donc ajouté. Ensuite, il m'a alors reproché de bloquer l'accès à cette url dans mon fichier robots.txt. J'ai alors ajouté l'ordre "allow" pour cette url ... et il râle toujours !

ps: je ne comprends pas bien ta remarque "... il est préférable de donner aux moteurs d'indexation un plan XML..." : mais j'ai bien un fichier sitemap.xml à la racine, et il est bien en 1ère position dans mon fichier robots.txt

**manu93fr** · 29/10/2019, 18h36

Bonsoir,
tu es surtout perdu car tu ne connais pas bien la syntaxe du fichier robots.txt

regarde par ici : https://www.rankspirit.com/frobots

Je ne comprends pas bien tes allow, en général, c'est a éviter, les étoiles aussi sont a éviter
Les bots par défaut scrollent tous sauf les parties disallow définies dans ce fichier robots.txt
si après tu veux absolument qu'ils suivent une url spécifique, il vaut mieux le plan xml du sitemap quitte a faire des liens cachés pour l'utilisateur mais par pour les robots justement ...

Perso je mettrait ta ligne de sitemap a la fin de ton fichier ... en plus il sera derrière un user-agent ... et non devant

**Visiteur** · 30/10/2019, 05h56

Envoyé par manu93fr Voir le message

Bonsoir,
tu es surtout perdu car tu ne connais pas bien la syntaxe du fichier robots.txt

regarde par ici : https://www.rankspirit.com/frobots

Je ne comprends pas bien tes allow, en général, c'est a éviter, les étoiles aussi sont a éviter
Les bots par défaut scrollent tous sauf les parties disallow définies dans ce fichier robots.txt
si après tu veux absolument qu'ils suivent une url spécifique, il vaut mieux le plan xml du sitemap quitte a faire des liens cachés pour l'utilisateur mais par pour les robots justement ...

Perso je mettrait ta ligne de sitemap a la fin de ton fichier ... en plus il sera derrière un user-agent ... et non devant

Bonjour Manu,
Je te remercie pour ces bons conseils, et notamment pour ton lien éclairant la syntaxe à bien utiliser. Je te concède humblement que je ne suis nullement spécialiste de l'écriture de ce type de fichier !
À propos de ton étonnement sur l'emploi des ordres "allow" dans mon fichier "robots.txt", voici un exemple d'explication:
J'utilise un module tiers "tellafriend" qui permet par un popup d'envoyer le lien de la page consultée à n amis avec un commentaire. J'ai donc créé un lien de menu qui active l'url correspondante, et j'ai ajouté cette url dans mon fichier "sitemap;xml". Mais comme mon fichier "robots.txt" comprend l'ordre

Code:

Disallow: /modules/

, je suis bien contraint à autoriser les robots à voir au moins la partie du module référencé dans le sitemap : d'où la présence de l'ordre complémentaire

Code:

Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1

Je viens d'appliquer tes conseils. Que penses-tu, stp, de cette nouvelle version de mon fichier "robots.txt" ?

Code:

User-agent: Googlebot
Allow: .js?
Allow: /component/osmap/?view=html&amp;id=2
Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
Allow: /component/users/?view=registration
Allow: /component/users/?view=remind
Allow: /component/users/?view=reset
Allow: /component/users/?view=login
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Sitemap: https://www.rendez-vous-medecine.com/sitemap.xml

Problème Google entre robots.txt & sitemap.xml

[Problème] Problème Google entre robots.txt & sitemap.xml

Commentaire

Commentaire

Commentaire

Commentaire

Annonce

Partenaire de l'association