Osmap et sitemap pour google !

[woluweb]

Merci pour tes lumières toujours pleines d'expérience daneel

Note que dans le Composant il y a maintenant (je sais pas depuis qd) un bouton pour Purger toutes les redirections loggées mais non publiées (celles en rouge pour le dire simplement).
Donc au moins, le nettoyage peut être simple même pour ceux qui laisse la collecte activée pour une raison ou une autre...

[daneel]

woluweb
Bonjour Marc,

Contrairement à l'extension, la ligne htaccess suggérée permet de réécrire l'url et celle d'origine reste accessible.

On utilise essentiellement l'extension pour corriger les erreurs 404, par exemple si on a supprimé un article, modifier un alias ou d'une url provenant d'un ancien site.
Cela nécessite d'activer le plugin comme l'indique le message d'avertissement. Sauf modification des paramètres, la collecte des erreurs est activé également.
A mon avis, tu peux essayer de ton coté mais c'est détourner l'usage de cette extension et rendre plus compliqué que de coller une ligne dans un fichier htaccess.

Mal gérée, la collecte provoque une accumulation de plusieurs centaines d'urls qui sont "oubliées" (les robots générant plus de tentatives d'accès que les utilisateurs)... J'ai déjà rencontré des bases de données accumulant près d'un giga de données car on avait activé l'extension de redirection sans se douter des conséquences. Bonjour le nettoyage !

Pour info, j'ai participé à une longue discussion sur le sujet du sitemap.xml à l'époque de la transition entre xmap et osmap... en 2015 !

https://forum.joomla.fr/forum/joomla-3-x/r%C3%A9f%C3%A9rencement-et-seo/211917-sitemap-xml-automatique-%C3%A3%C2%A0-la-racine-du-site

Je me ferai un plaisir d'aller plus loin et répondre à tes questions mais dans le cadre d'une autre discussion plus approfondie

Yann

[woluweb]

Tiens, en passant :

plutôt que d'éditer le fichier .htaccess pour créer une redirection, on ne pourrait pas utiliser plutôt le composant de redirection de Joomla ?
pour faire pointer
sitemap.xml
vers
index.php?option=com_osmap&view=xml&tmpl=component &id=1&format=xml
?

(pcq alors tout se gère depuis l'interface)

[balad144]

SUPER, un grand Merci Yann pour toutes ces explications et sans ton aide précieuse je n'y serais jamais arrivé

Je te souhaite une bonne soirée et bonne continuation.
Bien cordialement;
Fred

[daneel]

Comment je peux savoir si cela fonctionne sur le site ?

Hello,

oui ça fonctionne très bien !
Il suffit de taper sitemap.xml après le nom de domaine.

[balad144]

Bonjour Yann,
j'ai appliqué ta ligne de code dans .htaccess, ça parait ok.
Comment je peux savoir si cela fonctionne sur le site ?
Bonne journée.
Fred

[daneel]

ok, j'ai testé ton fichier htaccess et effectivement le forum ajoute un espace dans la ligne à copier juste après component.

En supprimant cet espace, sitemap.xml fonctionne. J'essaye de coller la ligne, j'ajoute également &format=xml car les dernières versions d'osmap
ont modifié légèrement le chemin... Au résultat, cela donne :

RewriteRule ^sitemap.xml$ index.php?option=com_osmap&view=xml&tmpl=component&id=1&format=xml [L]

sinon en capture d'écran (au cas où le forum ajoute encore un espace...) :

[balad144]

Merci Yann, pour ces nouvelles infos, je vais voir ça petit à petit car ça me semble un peu compliqué pour moi.

J'ai mis la ligne de code pour la réécriture du sitemap dans .htaccess (voir la pièce jointe), car j'ai eu Erreur 500 en allant sur le site, donc je ne sais pas si c'est au bon endroit,
car il y a 2 RewriteEngine On .

J'ai rajouté la ligne pour robot.txt.

Merci d'avance pour ta réponse.
Fred

[daneel]

Bonjour,

Je n'ai pas vu de sitemap image pour https://www.xml-sitemaps.com sauf dans sa version payante.
En fait même le sitemap scanné n'est pas bon car il fait remontrer des erreurs de conception.

Par exemple, il propose : https://www.randophil56.fr/mentions-...ortie-penestin
qu'il aura trouvé en scannant la page des mentions légales.

Ce mauvais lien est du en réalité au module "articles document" et à l'absence de lien de menu ou fil d'ariane.
Dans la pratique, les liens étant relatifs, ils sont proposés avec l'url de la page en cours.
Cela génère donc du duplicate content (car il n'y a pas d'url canonique à ton site comme évoqué dans une discussion récente)

Pour éviter cela, certains modules proposent de définir le lien de menu de référence (plus précisemment l'itemID) afin d'avoir le même lien proposé par le module dans chaque page. Il faudra donc corriger le module "articles documents" soit par le paramètre (si cette option existe), soit de changer l'assignation à une page unique ou de changer d'extension!

Une autre solution consiste à créer un menu (même caché) pour créer ces liens de menu qui seront utilisés automatiquement par le module.

Utiliser OSMmap ne permet pas de régler le problème mais cela évite de pousser à indexer les erreurs, le crawler suit naturellement le contenu de chaque page.
N'oublie pas non plus d'activer le plugin icagenda pour OSMap et le contenu qui n'est pas lié directement au menu.

Bonne journée,

Yann

[balad144]

Bonjour Yann,

et surtout un Grand Merci pour toutes ces explications, car j'ai eu du mal à comprendre pour un novice comme moi !

Je vais suivre tes conseils pour installer (n° 4) sur le site.

Juste une petite question, le sitemap du générateur en ligne fournit beaucoup plus d'url pour les images que Osmap, sait on pourquoi ?

Je te remercie pour ta Patience et te souhaite une bonne journée.
Bien cordialement.
Fred

[daneel]

Hello Fred,

Je vais tenter l'explication.

Il n'y a pas de magie, c'est la réécriture qui permet de créer des urls sans avoir de fichier ou de repertoire présent physiquement.

1. Par exemple, cette url fonctionne : https://www.randophil56.fr/mentions-legales
mais physiquement il n'y a pas de repertoire ou de fichier portant ce nom mentions-legales ce qui est normal.

Pour l'astuce de Simon, c'est la même chose si tu écrit dans ton fichier .htaccess

RewriteRule ^sitemap.xml$ index.php?option=com_osmap&view=xml&tmpl=component&id=1&format=xml [L]

Juste après RewriteEngine On car il faut bien que la réécriture soit activée avant de lire cette ligne.
L'ordre est important.

2. Si tu créé en ftp un repertoire "mentions-legales" et que tu insère un fichier index.html, il prendra le dessus de la réécriture de la page mentions-legales.

C'est le même cas si tu laisse le fichier sitemap.xml de www.xml-sitemaps.com
https://www.randophil56.fr/sitemap.xml
C'est pour cela qu'il faut le supprimer physiquement et ne rien laisser afin que cela fonctionne.

3. Pour les urls soumises à search console, oui pas de problème c'est ok

En fait, si on créé virtuellement ou physiquement l'url du sitemap.xml à la racine, ce n'est pas pour google car c'est toi qui fait la soumission dans search console donc tu lui donne l'info mais pas pour les autres moteurs de recherche. ils représentent un petit pourcentage de recherche mais ce serait dommage de s'en priver.
Tu as déjà testé duckduckgo, qwant, bing... ?

Si le lien sitemap.xml fonctionne pour aider l'indexation, c'est le seul moyen d'aider leur robots autre que ceux de Google.

N'oublie pas d'ajouter également le lien dans le fichier robots.txt comme dans la capture d'écran : http://prntscr.com/rdjm2c

4. En résumé, supprimer le fichier sitemap.xml, inserer la règle de réécriture (RewriteRule) dans le fichier htaccess juste après rewriteengine on,
modifier robots.txt pour ajouter le lien Sitemap: https://www.randophil56.fr/sitemap.xml et c'est tout.

5. Pour conclure, ce qui n'était pas bon dans au départ c'était d'utiliser un générateur auquel tu faire le travail manuellement une seule fois alors que l'extension le fait pour toi et gratuitement dans sa version de base. C'est toujours mieux qu'il soit ainsi à jour sans se préoccuper.

Bonne soirée,

Yann

[balad144]

Bonsoir daneel ,

merci pour toutes ces explications, je dois être borné car il y a quelque chose qui m'échappe,

Si tu as un fichier sitemap.xml à la racine que tu as oublié, il faut le supprimer car il n'y a pas de fichier

tu dis que je dois supprimer le fichier sitemap.xml qui se trouve à la racine

Par précaution, il faut tester le domaine avec sitemap.xml puis insérer
Sitemap: http://www.mon-domaine.fr/sitemap.xml dans mon fichier robots.txt

et dans ta checklist que je dois le tester, mais dans ce cas ce fichier vient d'où ? à part le créer manuellement !

Dans la Google Search Console, j'ai mis ces 2 liens créés par Osmap et qui sont pris en compte:

https://www.randophil56.fr/component/osmap/?view=xml&id=1&format=xml

https://www.randophil56.fr/component/osmap/?view=xml&id=1&images=1&format=xml

J'ai vu que l'on pouvait les insérer aussi dans robot.txt, est ce judicieux ?

Désolé mais je n'y comprend pas grand chose dans toutes ces manips !

Merci encore pour ta patience, bonne soirée.
Fred

[daneel]

Merci @Daneel pour toutes ces infos, j'avais déjà lu tes renseignements sur d'autres posts concernant Osmap, que j'avais suivi en partie avec une vidéo de Didier pour inclure dans Google Search Console les url de sitemap.

Par contre je n'ai vraiment pas compris la 1ère Astuce évoqué par Simon Kloostra, j'ai bien copié la ligne de code dans mon .htacces, est ce que cette ligne permet de créer un fichier sitemap.xml à la racine du site ou faut il en créer un à vide ? Je pense que c'est important pour les autres robots !

Désolé mais je n'ai pas trouvé d'exemple concret sur cette astuce.
Merci d'avance et bonne soirée.
Fred

Bonsoir Fred,

En fait, tu dois comprendre sous les termes "réécrire l'emplacement du sitemap" que la petite ligne dans le htaccess permet de réécrire le chemin d'un plan généré par le composant vers l'url :nomdusite.fr/sitemap.xml

C'est à dire qu'il n'y a pas de création mais plutôt une redirection afin que les deux urls donnent le même résultat dynamique...

Si tu as un fichier sitemap.xml à la racine que tu as oublié, il faut le supprimer car il n'y a pas de fichier.

Ainsi
nomdusite.fr/sitemap.xml
ou
nomdusite.fr/index.php?option=com_osmap&view=xml&tmpl=component&id=1

donneront donc le même résultat. C'est juste que sitemap.xml sera beaucoup plus reconnu par les autres outils sans avoir à soumettre l'adresse.

Attention de vérifier l'id de ton url (indiqué en rouge ci-dessus) car celui que tu as généré dans osmap peut être différent de "1" si tu as supprimé celui par défaut (donc le 1er) et généré un autre.

Je vais te proposer une checklist similaire à la mienne :

• installation de gestionnaire de plan site (osmap) + plugin pour mettre en cache le plan de site (de façon à économiser de la ressource : https://addondev.com/extensions/site...he/description )
• test de l'url du plan de site xml via osmap (le lien xml est proposé dans la page du composant).
• on insère le code de Simon dans le htaccess évoqué précedemment en prenant soin que l'id correspond au plan que j'ai généré.
• Par précaution, il faut tester le domaine avec sitemap.xml puis insérer
  Sitemap: http://www.mon-domaine.fr/sitemap.xml dans mon fichier robots.txt
• Et tranquillement, préparer le fichier xml pour google image. : https://www.joomlashack.com/blog/joo...ap-with-osmap/
• ...

Habituellement, on se connecte sur search console de google mais également sur bing webmaster tools. Les autres moteurs suivent généralement assez rapidement (qwant, duck duck go...). En cas d'ajout de page, le plan de site est actualisé et se synchronise avec les moteurs de recherche.

Voila, c'est à peu près tout.

[balad144]

Merci @Daneel pour toutes ces infos, j'avais déjà lu tes renseignements sur d'autres posts concernant Osmap, que j'avais suivi en partie avec une vidéo de Didier pour inclure dans Google Search Console les url de sitemap.

Par contre je n'ai vraiment pas compris la 1ère Astuce évoqué par Simon Kloostra, j'ai bien copié la ligne de code dans mon .htacces, est ce que cette ligne permet de créer un fichier sitemap.xml à la racine du site ou faut il en créer un à vide ? Je pense que c'est important pour les autres robots !

Désolé mais je n'ai pas trouvé d'exemple concret sur cette astuce.
Merci d'avance et bonne soirée.
Fred

[daneel]

Bonjour,

Si tu te pose la question, c'est que tu dois te douter que ce n'est pas bon. En effet, tu génère un contenu statique avec xmlsitemap. contrairement à osmap.

La solution, c'est d'utiliser uniquement un composant, de réécrire l'emplacement du sitemap généré par osmap vers la racine du site sous le nom sitemap.xml.

Pour cela, je t'invite à lire la 1ère astuce évoqué par Simon Kloostra sur cette page : https://alphadesign.fr/joomla/checkl...temap-xml.html
Tu peux aussi lire le reste, c'est intéressant

N'oublie pas d'ajouter le lien du sitemap dans robots.txt (pour l'explication : http://robots-txt.com/ressources/rob...t-sitemap-xml/ )
et de vérifier que l'url nomdesite.fr/sitemap.xml est bien lu et synchronisé dans search console (date et nombre de pages indexés).