[Problème] Pages indexées malgré le blocage par robots.txt

[FlodAriege]

Bonjour,

Que faire pour résoudre le problème signalé dans ma Search Console, pour 6 pages (pour l'instant) indexées malgré le blocage par robots.txt ?

Par exemple une URL comme celle-ci :

https://www.mondomaine.fr/component/flexicontent/download/533/168/18.html

Quand je la teste, elle apparaît comme bloquée, ce uqi est logique puisque mon robots.txt inclut une ligne qui dit :
Disallow: /component/

Une idée de ce qui se passe ou de ce que j'ai pu rater ?

Merci d'avance pour vos précieuses lumières !

Flo

[RobertG]

Cette adresse "components/flexicontent/etc." n'est pas une adresse physique de fichier sur le serveur mais celle d'une page, qui ne peut donc pas être bloquée par ton fichier robots.txt qui te bloquera l'indexation, pour garder l'exmple, de tout le contenu du dossier components, dont "compoments/com_flexicontent".
Si cette page est liée à un menu, tu dois pouvoir la bloquer par un "no index - no follow".
Maintenant, ça n'explique pas que si tu cliques sur l'adresse tu arrives sur une page en erreur (ce qui n'est pas mon cas lorsque je mets le bon nom de domaine et qui explique donc que le moteur de recherche ait indexé cette adresse).

[daneel]

Bonjour,

Si on teste l'url sur ton site, ce n'est pas une page mais une url qui redirige vers ton fichier pdf dont le chemin direct est caché.
Normalement, elle doit être réécrite et on ne doit jamais voir "flexicontent" mais par exemple "telechargement" ou la catégorie et le titre du fichier.
Ce que l'on retrouve habituellement sur les gestionnaires de fichiers.

Essaye de voir du coté des developpeurs de flexicontent pour comprendre ce dysfonctionnement, pourquoi la réécriture ne fonctionne pas.

[FlodAriege]

Bonjour,

1) Suite du problème avec robots.txt

En effet, la plupart de ces URLs correspondent à des PDF... bizarre non ?!
[Edit 26/11 14h20 : pour les PDF, je pense que c'est le composant FC qui permet de mettre des PDF en téléchargement en pied d'article qui posait problème. J'ai donc contourné le problème en réintégrant les PDF dans un lien directement dans le corps de l'article + en mettant une redir 301 sur les qq URLs concernées. A surveiller]

Par contre si je prends l'exemple de :
https://www.rouchenergies.fr/ component/flexicontent/item/160.html?Itemid=1240

C'est bel et bien une page, qui n'a pas lieu d'être bloquée, mais qui devrait s'afficher avec une URL propre, celle-ci :
https://www.rouchenergies.fr/qui-som...gorigenes.html

[Edit 26/11 14h20 : j'ai craqué et mis en place une redirection 301 pour les 2 URLs concernées]

Tout ça très bien jusque là, donc j'ai dû toucher à quelque chose pendant la bascule https, je ne vois que ça...
Je demande à FC, mais j'ai même du mal à leur poser la question correctement, je ne sais pas s'ils réussiront à m'aider...

J'essaie de remettre la main sur un très vieux post où j'avais eu un problème dans ce genre quand j'en étais encore à activer la réécriture au vol... mais dans la foule de posts que j'ai écrits sur le forum, autant chercher une aiguille ans une botte de foin


2) Plusieurs URLs de page d'accueil

je viens de faire un tour sur GA, et je vois un autre symptôme qui pourrait peut-être venir de la même cause ??
GA me dit :

Plusieurs URL de page d'accueil
Première détection : 25 nov. 2018 12:50:05
La vue Toutes les données du site Web enregistre des appels provenant de plusieurs pages susceptibles d'afficher le même contenu. En voici quelques exemples :

• /
• /index.php

Est-ce que j'aurais un problème de réécriture au vol ou un machin dans ce goût-là ??