[RÉGLÉ] Question technique sur un sitemap

[Visiteur]

Mon environnement
site en J3.9.2, logé chez O2switch.

Les personnes qui viennent sur mon site appartiennent à 3 types: les visiteurs, les membres connectés (conducteurs, ou passagers).
Pour des questions d'ergonomie et de facilité de navigation sur le site, les liens de menu sont pour la grande majorité définis pour l'un de ces 3 types. Moralité: j'ai peu de liens de menu accessibles en "public" (càd pour tous).
Cela n'est pas neutre au niveau du sitemap:

• si j'utilise un générateur externe de sitemap: il ne me retient que les liens ouverts en "public", donc bien peu !
• si je complète moi-même le sitemap précédent en y ajoutant tous les liens complémentaires dédiés exclusivement aux conducteurs et aux passagers: un analyseur tel que Semrush bute souvent sur la demande initiale de login et hurle aux redirections !

Il existerait bien une solution automatique qui consisterait à laisser tous les liens ouverts en mode "public". Mais je n'avancerais guère, car presque toujours obligé de tester initialement si le client est connecté et comment. Et de plus, le site me semblerait peu ergonomique.

Question: quelle est la solution pour avoir un sitemap complet que tout robot puisse étudier sans blocage aucun ?

ps: j'ai tenté d'utiliser OSMap. Mais peu satisfait du résultat.

[SimonG]

Bonjour,

je ne suis pas sûr de bien comprendre, si certaines pages sont réservées aux utilisateurs connectés, quel est l'interêt de les intégrer au sitemap pour les faire indexer aux robots (ce qui ne sera pas possible) ?

[Visiteur]

Merci SimonG pour ton aide.
Je reprends donc l'énoncé de mon problème: je développe un site plus technique qu'informatif, et qui pour apporter un service réel à l'usager nécessite de s'enregistrer gratuitement comme membre, puis de se connecter à chaque visite. Ce site ne dispose que bien peu de liens à la disposition d'un simple public non connecté.
Moralité: son sitemap ne contient que 26 liens. Ce qui me semble bien peu pour Google.
Je me posais donc la question suivante: existe t-il une astuce, une technique spécifique pour arriver à faire indexer tous les liens, y compris ceux destinés aux membres enregistrés et connectés ?
Tu sembles donc me répondre que ce n'est pas possible. Ce qui confirmerait ma crainte.

Mais que penses-tu de mon idée d'ouvrir alors TOUS les liens de menu en "public" afin de laisser la porte ouverte aux robots et d'obtenir une indexation plus conséquente de mon site, tout en testant -si nécessaire- au début de chaque script correspondant le type d'utilisateur concerné, et le cas échéant, de demander au visiteur de se connecter préalablement ? Est-ce qu'un tel test bloquerait également un robot (à priori, je pense que oui, un robot venant comme simple "invité") ?

[RobertG]

Bonjour,

Je ne suis pas sûr que les robots apprécient de ne pas pouvoir accéder au contenu pointé par les liens.
Perso, je ne vois qu'une solution (mais qui ne donnera pas grand-chose aux robots), c'est du contenu conditionnel dans chaque article : une partie destinée aux visiteurs, l'autre aux membres identifiés. UP de lomart le fait très bien, et il y a probablement d’autres extensions pour ça.

[Visiteur]

Je suis surpris du manque réel de solution devant un problème somme toute assez banal et fréquent. Et j'en viens à me demander s'il ne vaut pas mieux ne jamais le soumettre à Google !

[RobertG]

Ben c'est pourtant simple : les moteurs d'indexation, quels qu'ils soient, ne prennent en compte que ce qu'ils peuvent voir et analyser : sans contenu accessible, ils n'indexent pas.

[Visiteur]

Ce point est tout à fait compréhensible. Et j'en suis bien conscient puisque je bute dessus sans solution. C'est simplement le manque de solution qui me surprend.

[RobertG]

Dans la mesure où le rôle des moteurs d'indexation est de répertorier du contenu, comment veux-tu qu'il y ait une solution, puisqu'ils n'ont pas accès à ce contenu ?
A la limite, ajoute un plan incluant tout (si tu y arrives, au besoin en créant toi-même un article contenant les liens mais avec un "no follow" défini pour cet article) dans une page publique du site. Cette page sera répertoriée et les visiteurs lambda pourront la voir, sans voir les articles eux-mêmes.

[Visiteur]

J'ai prévu des comptes de membre (fictifs, pour démonstration à l'usage d'un visiteur). En les utilisant, il peut prendre toute la mesure des fonctionnalités offertes aux membres. Donc ce point est solutionné pour les visiteurs.
Les liens placés dans l'article de "plan du site" et dédiés à un membre enregistré ne pourraient toujours pas être traités par un robot doté d'un simple statut de visiteur. Je saurais pourtant et facilement réaliser une telle page.

[RobertG]

Les liens placés dans l'article de "plan du site" et dédiés à un membre enregistré ne pourraient toujours pas être traités par un robot doté d'un simple statut de visiteur. Je saurais pourtant et facilement réaliser une telle page.

Ce ne sont pas les liens qui seraient indexés, d'autant que j'ai conseillé un "no follow" justement pour que les robots ne tombent pas sur une page interdite, mais la page les listant et permettant donc à tous de savoir ce que propose le site.

[simben9]

Je suis du même avis, les moteurs de recherche ne pourront pas indexer une page non accessible. tu peux essayer en allant sur la console de Google Administration. et essayer de soumettre un de tes urls non publics.
Je te suggère de changer de stratégie, remplacer tes liens privés accessible via un login, par une page public où tu affiches une partie de ton contenu et lorsque tu cliques sur "lire plus" tu rediriges tes visiteurs intéressé vers une page d'inscription.

[Visiteur]

Je suis du même avis, les moteurs de recherche ne pourront pas indexer une page non accessible. tu peux essayer en allant sur la console de Google Administration. et essayer de soumettre un de tes urls non publics.
Je te suggère de changer de stratégie, remplacer tes liens privés accessible via un login, par une page public où tu affiches une partie de ton contenu et lorsque tu cliques sur "lire plus" tu rediriges tes visiteurs intéressé vers une page d'inscription.

Merci. C’est très exactement la méthode que j’ai finalement choisie.

[daneel]

Bonjour,

ok je ne suis pas du même avis que les solutions proposées ci-dessus.

Bien que la question soit indiquée comme [réglé], j'apporte un complément que j'espère intéressant vu que personne n'a évoquée ces solutions existantes...

En terme d'indexation de "contenu premium" si je peux m'exprimer ainsi, c'est par l'usage du "Premier clic gratuit" que cela a débuté à la fois sur google actu mais aussi sur le moteur de recherche global. Mais c'était avant oct 2017... Désormais on évoque l'échantillonage flexible ou le Flexible Sampling :

https://support.google.com/webmasters/answer/7532484

Pour simplifier on a deux options, la première c'est que le visiteur peut lire un certain nombre d'article "gratuits" jusqu'à l'obtention d'une bannière d'inscription obligatoire.
L'autre option, c'est d'avoir une partie visible et une autre partie sur abonnement.

Dans tous les cas vous devez structurer votre contenu disponible par abonnement et vérifier que Google peut explorer et indexer vos pages ...
l'explication est donnée par Google sur le lien suivant :
https://developers.google.com/search...walled-content

Petite parenthèse pour la mise en œuvre des données structurées utilisant json-ld, je vous invite à découvrir l'extension GSD Markup de Tassos Marinos : https://extensions.joomla.org/extens...d-data-markup/

[Visiteur]

Bonjour,

ok je ne suis pas du même avis que les solutions proposées ci-dessus.

Bien que la question soit indiquée comme [réglé], j'apporte un complément que j'espère intéressant vu que personne n'a évoquée ces solutions existantes...

En terme d'indexation de "contenu premium" si je peux m'exprimer ainsi, c'est par l'usage du "Premier clic gratuit" que cela a débuté à la fois sur google actu mais aussi sur le moteur de recherche global. Mais c'était avant oct 2017... Désormais on évoque l'échantillonage flexible ou le Flexible Sampling :

https://support.google.com/webmasters/answer/7532484

Pour simplifier on a deux options, la première c'est que le visiteur peut lire un certain nombre d'article "gratuits" jusqu'à l'obtention d'une bannière d'inscription obligatoire.
L'autre option, c'est d'avoir une partie visible et une autre partie sur abonnement.

Dans tous les cas vous devez structurer votre contenu disponible par abonnement et vérifier que Google peut explorer et indexer vos pages ...
l'explication est donnée par Google sur le lien suivant :
https://developers.google.com/search...walled-content

Petite parenthèse pour la mise en œuvre des données structurées utilisant json-ld, je vous invite à découvrir l'extension GSD Markup de Tassos Marinos : https://extensions.joomla.org/extens...d-data-markup/

Excellente précision, Daneel et grand merci.
Petite question: ayant à ajouter la notion de class "paywall", cette classe doit-elle être définie par nous-même sur nos sites (et si oui avec quels paramètres obligatoires), ou bien est-elle au-définie par Google ?
Merci.

[daneel]

Petite question: ayant à ajouter la notion de class "paywall", cette classe doit-elle être définie par nous-même sur nos sites (et si oui avec quels paramètres obligatoires), ou bien est-elle au-définie par Google ?
Merci.

Hello,

oui par exemple avec une surcharge sur les articles comme indiqué par Google.

Evidemment la classe css paywall ou autres (tu peux la nommer comme tu le veux et l'indiquer dans cssSelector), ce qui est important, c'est de définir correctement le balisage. Je sais que l'auteur de GSD Markup fut fortement impliqué dans la gestion de ces structures dans Joomla mais je n'ai pas vu celle pour "paywall/subscription", cela vaut peut être la peine de le contacter à ce sujet.