Aide pour vérifier fichier Robots.txt

[testeuse]

Oh, super, merci beaucoup, je vous contacte de suite

[daneel]

Hello,

A la lecture du fichier, je vois des erreurs, je veux bien te proposer une version personnalisée et en mp.
On le publiera une version commentée en exemple sur ce fil de discussion après quelques petites vérifications.

[testeuse]

Bonsoir,
il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
- http://robots-txt.com/
- http://www.robotstxt.org/robotstxt.html
- http://tool.motoricerca.info/robots-checker.phtml
- https://support.google.com/webmaster..._topic=6061961

Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".

Lol
Le souci c'est que je n'ai pas touché à ce fichier, différentes personnes à différents moments m'ont aidés et ont ajouté une ligbe par ci par là et je me retrouve avec ce fichier.
Du coup, j'avou que je ne sais pas vraiment quoi faire, est ce que je repars sur le fichier de base de joomla, est ce que je prends pas exemple celui de Daneel donné dans un des liens partagés ou est ce que je modifie celui ci mais comment

Je n'y comprends rien même en lisant les explications !

Malheureusement, le testeur de robots ne fonctionne pas pour moi, peut être à cause du https...
Selon le testeur robot de google, je n'ai que le souci du crawler-delay... donc à part enlever le crawler-delay, je ne sais pas trop quoi faire.
Des suggestions?

Merci encore pour votre aide.

[pmleconte]

En complément, Fred avait fait aussi un article sur le fichier robots.txt : https://www.fred-net.fr/blog/joomla/...fichier-robots

Pascal

[manu93fr]

Bonsoir,
il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
- http://robots-txt.com/
- http://www.robotstxt.org/robotstxt.html
- http://tool.motoricerca.info/robots-checker.phtml
- https://support.google.com/webmaster..._topic=6061961

Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".

[testeuse]

Bonjour,

Je viens de subir une perte de 50% de mes visites du jour au lendemain et en allant sur webmaster tools, je vois qu'il est écrit que google ne peut accéder à toutes mes ressources...

Je voulais avoir votre avis sur mon fichier robots.txt, savoir s'il était correct ou s'il y avait quelques modifications à y apporter.
Je n'y ai pastouché depuis un bail donc on ne sait jamais.

De son coté google me donne un avertissement sur le "crawl-delay : 10"

Toute remarque et suggestion est la bienvenue, merci d'avance

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: Mediapartners-Google
Allow: /
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*
Crawl-delay: 10

Allow: /index.php?option=com_jreviews&format=ajax
Allow: /components/*.js
Allow: /components/*.css
Allow: /components/*.png
Allow: /components/*.jpg
Allow: /components/*.gif
Allow: /components/*.woff
Allow: /components/*.svg
Allow: /components/*.eot
Allow: /components/*.ttf

Allow: /templates/*.js
Allow: /templates/*.png
Allow: /templates/*.jpg
Allow: /templates/*.gif
Allow: /templates/*.css
Allow: /templates/*.woff
Allow: /templates/*.svg
Allow: /templates/*.eot
Allow: /templates/*.ttf

Allow: /media/*.js
Allow: /media/*.css
Allow: /media/*.png
Allow: /media/*.jpg
Allow: /media/*.gif
Allow: /media/*.woff
Allow: /media/*.svg
Allow: /media/*.eot
Allow: /media/*.ttf

Allow: /images/*.png
Allow: /images/*.jpg
Allow: /images/*.gif

Allow: /modules/*.js
Allow: /modules/*.css
Allow: /modules/*.png
Allow: /modules/*.jpg
Allow: /modules/*.gif
Allow: /modules/*.woff
Allow: /modules/*.svg
Allow: /modules/*.eot
Allow: /modules/*.ttf

Allow: /libraries/*.js
Allow: /libraries/*.css
Allow: /libraries/*.png
Allow: /libraries/*.jpg
Allow: /libraries/*.gif
Allow: /libraries/*.woff
Allow: /libraries/*.svg
Allow: /libraries/*.eot
Allow: /libraries/*.ttf
Disallow: /libraries/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /logs/

Disallow: /tmp/
Disallow: /?
Disallow: /component/
Allow: /component/osmap/

Disallow: /*order=

User-Agent: BLEXBot
Disallow: /