[Problème] Mon robots.txt m'a trahie

[JaneD]

Bonjour,

j'ai créé mon site fin novembre et je m'étonnais de ne pas le voir dans les moteurs de recherche même en tapant mon nom, qui est également celui de mon site.
Je viens de découvrir l'utilité du fichier robots, et effectivement il était écrit :


User-agent: *
Disallow: /

PAS BIEN ! Je comprends pourquoi j'étais totalement invisible.

Je viens par ailleurs de voir sur le site robots-txr.com

http://robots-txt.com/ressources/robots-txt-joomla/

que par défaut Joomla règle le fichier ainsi :

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/


ce qui est faux, puisque ce n'était pas le cas pour moi.
Faut-il que je copie cela (pour ne pas que ces dossiers sensibles apparaissent dans les MDR
ou bien au contraire ne rien mettre ?

Si rien, comment écrire ? Juste enlever le / après Disallow ?

Et si je mets la liste ci-dessus, pour ma part, je n'ai pas de dossier xmlrpc. De quoi s'agit t'il ? Et que se passe t'il si je laisse la mention correspondante dans le fichiers robots.txt alors qu'il n'existe pas ?

Merci pour vos conseils.

[RobertG]

Re : Mon robots.txt m'a trahi

Bonjour,

Lors de l'installation, Joomla! crée un fichier robots.txt à partir du contenu du fichier robots.txt.dist, en aucun cas avec un Disallow: /
En version 3.6.4, ce sont ces instructions :

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

J'ai rapidement revu ta première discussion et je me pose la question du rôle de l'installation en un clic que tu as utilisée ou d'autres manips avec ta tentative d'installation de template, car jamais depuis que l'installe des sites Joomla! je n'ai rencontré un tel problème. Je suis obligé d'ajouter moi-même cette ligne juste après "User-agent: *" sur les sites dont je refuse l'indexation.