Question sur le fichier robot.txt

[Chewy]

Bonjour,

En voulant effectuer une mise à jour dans mon fichier robot.txt, je viens de me rendre compte que je dispose à la racine de mon site de 2 fichiers : robot.txt et robot.txt.dist. Le premier est vide et le second présente bien les droits donnés aux moteurs de recherche.
Est-ce normal que je dispose de ces 2 fichiers ? Et est-ce normal que robot.txt soit vierge ? Peut-être suis-je passé à côté d'une info lors d'une mise à jour de Joomla..

Merci par avance pour votre aide.

[RobertG]

Bonjour,

Oui, le "dist" est la dernière version proposée par Joomla!
Il fut un temps où cette dernière version se nommait robots.txt (il ne faut pas oublier le "s") et écrasait celui en place, d'où ce nouveau fichier permettant de faire soi-même, si besoin, les ajouts éventuels.
Tu peux supprimer ton roblts.txt et renommer robots.txt.dist en robots.txt et y faire tes ajouts.

[Chewy]

Merci pour ta réponse.
Le "s" est bien présent dans mon fichier robots.txt, il s'agissait d'une faute de frappe, je te rassure
Si je comprends bien, je peux supprimer mon fichier robots.txt vierge et le remplacer par le "dist" tout en renommant ce dernier par robots.txt ? Et dans ce fichier, je peux y faire des ajouts à ma guise, mais que ce passera-t-il lors d'une prochaine mise à jour de Joomla. Un nouveau fichier "dist" sera-t-il créé ?
J'espère que je suis assez clair dans mes questions.

[RobertG]

Oui, un nouveau fichier dist sera créé, mais il n'est pas utilisé, il ne sert que d'exemple, comme je l'ai dit tout à l'heure.
Le robots.txt ne sera pas touché.

[Chewy]

Ok super merci beaucoup.
Question subsidiaire. Je souhaite désindexer les résultats de recherche sur mon site dans les moteurs de recherche. C'est bien dans le robots.txt que je dois indiquer cela ? Si oui, que faut-il indiquer exactement ?

[RobertG]

Si ce sont des pages déjà indexées, ce n'est à ma connaissance pas dans ce fichier que tu peux en supprimer l'indexation, lui ne permet que le blocage initial de l'accès à certains fichiers définis par le "Disallow".
C'est directement dans les moteurs de recherche que tu peux demander la suppression, ou encore tu peux faire une redirection des pages en question vers l'accueil ou une autre page.

[Chewy]

En effet certaines pages sont déjà indexées et je vais demander la suppression, mais je pensais que pouvais éventuellement indiquer quelque part que ces pages ne doivent pas et plus être indexées. Dans ce cas, pas dans le fichier robots.txt.

[Tortue Genial 69]

Tu peux , dans joomla , activer le paramètre no index no follow dans les liens de menus par exemple.
ca permettra d'ignorer ces URL pour les nouvelles que tu rajouteras.

[Chewy]

Tu peux , dans joomla , activer le paramètre no index no follow dans les liens de menus par exemple.
ca permettra d'ignorer ces URL pour les nouvelles que tu rajouteras.

Désolé pour ma réponse tardive. Alors effectivement c'est une bonne idée le coup des menus, merci. Mais le problème reste les pages de résultats liées au moteur de recherche interne du site. Je cherche un moyen d'indiquer quelque part noindex, mais je ne trouve pas...

[woluweb]

Ben si l article ou le menu est eb accès Registered ou... oy Super User il ne sera pas référencé...

[Chewy]

Ben si l article ou le menu est eb accès Registered ou... oy Super User il ne sera pas référencé...

Alors je m'exprime surement mal, mais ce n'est pas un article que je veux mettre en noindex, mais bel et bien les pages de résultats du moteur de recherche qui ont cette extension dans l'URL : "/itemlist/search?searchword="

J'utilise K2, et pour ne pas indexer les tags il y avait une option dans le back office, mais pour le moteur de recherche K2, je ne vois pas...

[Tortue Genial 69]

alors 2 options à froid :

- soit tu créés un lien de menu de type résultats de recherche et si tu mets un no index no follow sur ce lien, je pense que tous les liens de résultats ne seront pas indexés car ils seront construits via le lien parent. à tester et vérifier.

ou
- installer cette extension qui je pense te permettra de gérer finement tout ce qui est URL : https://storejextensions.org/extensions/jsitemap.html

[Chewy]

Merci pour ta réponse. Je vais étudier tout ça et je reviendrai vers toi