Aide pour vérifier fichier Robots.txt
Réduire
X
-
Hello,
A la lecture du fichier, je vois des erreurs, je veux bien te proposer une version personnalisée et en mp.
On le publiera une version commentée en exemple sur ce fil de discussion après quelques petites vérifications.
Laisser un commentaire:
-
Envoyé par manu93fr Voir le messageBonsoir,
il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles
quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
- http://robots-txt.com/
- http://www.robotstxt.org/robotstxt.html
- http://tool.motoricerca.info/robots-checker.phtml
- https://support.google.com/webmaster..._topic=6061961
Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )
Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".
Le souci c'est que je n'ai pas touché à ce fichier, différentes personnes à différents moments m'ont aidés et ont ajouté une ligbe par ci par là et je me retrouve avec ce fichier.
Du coup, j'avou que je ne sais pas vraiment quoi faire, est ce que je repars sur le fichier de base de joomla, est ce que je prends pas exemple celui de Daneel donné dans un des liens partagés ou est ce que je modifie celui ci mais comment
Je n'y comprends rien même en lisant les explications !
Malheureusement, le testeur de robots ne fonctionne pas pour moi, peut être à cause du https...
Selon le testeur robot de google, je n'ai que le souci du crawler-delay... donc à part enlever le crawler-delay, je ne sais pas trop quoi faire.
Des suggestions?
Merci encore pour votre aide.
Laisser un commentaire:
-
En complément, Fred avait fait aussi un article sur le fichier robots.txt : https://www.fred-net.fr/blog/joomla/...fichier-robots
Pascal
Laisser un commentaire:
-
Bonsoir,
il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles
quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
- http://robots-txt.com/
- http://www.robotstxt.org/robotstxt.html
- http://tool.motoricerca.info/robots-checker.phtml
- https://support.google.com/webmaster..._topic=6061961
Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )
Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".Dernière édition par manu93fr à 20/10/2018, 00h08
Laisser un commentaire:
-
Aide pour vérifier fichier Robots.txt
Bonjour,
Je viens de subir une perte de 50% de mes visites du jour au lendemain et en allant sur webmaster tools, je vois qu'il est écrit que google ne peut accéder à toutes mes ressources...
Je voulais avoir votre avis sur mon fichier robots.txt, savoir s'il était correct ou s'il y avait quelques modifications à y apporter.
Je n'y ai pastouché depuis un bail donc on ne sait jamais.
De son coté google me donne un avertissement sur le "crawl-delay : 10"
Toute remarque et suggestion est la bienvenue, merci d'avance
Code:# If the Joomla site is installed within a folder such as at # e.g. www.example.com/joomla/ the robots.txt file MUST be # moved to the site root at e.g. www.example.com/robots.txt # AND the joomla folder name MUST be prefixed to the disallowed # path, e.g. the Disallow rule for the /administrator/ folder # MUST be changed to read Disallow: /joomla/administrator/ # # For more information about the robots.txt standard, see: # http://www.robotstxt.org/orig.html # # For syntax checking, see: # http://tool.motoricerca.info/robots-checker.phtml User-agent: Mediapartners-Google Allow: / User-agent: * Allow: /*.js* Allow: /*.css* Allow: /*.png* Allow: /*.jpg* Allow: /*.gif* Crawl-delay: 10 Allow: /index.php?option=com_jreviews&format=ajax Allow: /components/*.js Allow: /components/*.css Allow: /components/*.png Allow: /components/*.jpg Allow: /components/*.gif Allow: /components/*.woff Allow: /components/*.svg Allow: /components/*.eot Allow: /components/*.ttf Allow: /templates/*.js Allow: /templates/*.png Allow: /templates/*.jpg Allow: /templates/*.gif Allow: /templates/*.css Allow: /templates/*.woff Allow: /templates/*.svg Allow: /templates/*.eot Allow: /templates/*.ttf Allow: /media/*.js Allow: /media/*.css Allow: /media/*.png Allow: /media/*.jpg Allow: /media/*.gif Allow: /media/*.woff Allow: /media/*.svg Allow: /media/*.eot Allow: /media/*.ttf Allow: /images/*.png Allow: /images/*.jpg Allow: /images/*.gif Allow: /modules/*.js Allow: /modules/*.css Allow: /modules/*.png Allow: /modules/*.jpg Allow: /modules/*.gif Allow: /modules/*.woff Allow: /modules/*.svg Allow: /modules/*.eot Allow: /modules/*.ttf Allow: /libraries/*.js Allow: /libraries/*.css Allow: /libraries/*.png Allow: /libraries/*.jpg Allow: /libraries/*.gif Allow: /libraries/*.woff Allow: /libraries/*.svg Allow: /libraries/*.eot Allow: /libraries/*.ttf Disallow: /libraries/ Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /logs/ Disallow: /tmp/ Disallow: /? Disallow: /component/ Allow: /component/osmap/ Disallow: /*order= User-Agent: BLEXBot Disallow: /
Tags: Aucun
Annonce
Réduire
Aucune annonce pour le moment.
Laisser un commentaire: