Aide pour vérifier fichier Robots.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Aide pour vérifier fichier Robots.txt

    Bonjour,

    Je viens de subir une perte de 50% de mes visites du jour au lendemain et en allant sur webmaster tools, je vois qu'il est écrit que google ne peut accéder à toutes mes ressources...

    Je voulais avoir votre avis sur mon fichier robots.txt, savoir s'il était correct ou s'il y avait quelques modifications à y apporter.
    Je n'y ai pastouché depuis un bail donc on ne sait jamais.

    De son coté google me donne un avertissement sur le "crawl-delay : 10"

    Toute remarque et suggestion est la bienvenue, merci d'avance

    Code:
    # If the Joomla site is installed within a folder such as at
    # e.g. www.example.com/joomla/ the robots.txt file MUST be
    # moved to the site root at e.g. www.example.com/robots.txt
    # AND the joomla folder name MUST be prefixed to the disallowed
    # path, e.g. the Disallow rule for the /administrator/ folder
    # MUST be changed to read Disallow: /joomla/administrator/
    #
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/orig.html
    #
    # For syntax checking, see:
    # http://tool.motoricerca.info/robots-checker.phtml
    
    User-agent: Mediapartners-Google
    Allow: /
    User-agent: *
    Allow: /*.js*
    Allow: /*.css*
    Allow: /*.png*
    Allow: /*.jpg*
    Allow: /*.gif*
    Crawl-delay: 10
    
    Allow: /index.php?option=com_jreviews&format=ajax
    Allow: /components/*.js
    Allow: /components/*.css
    Allow: /components/*.png
    Allow: /components/*.jpg
    Allow: /components/*.gif
    Allow: /components/*.woff
    Allow: /components/*.svg
    Allow: /components/*.eot
    Allow: /components/*.ttf
    
    Allow: /templates/*.js
    Allow: /templates/*.png
    Allow: /templates/*.jpg
    Allow: /templates/*.gif
    Allow: /templates/*.css
    Allow: /templates/*.woff
    Allow: /templates/*.svg
    Allow: /templates/*.eot
    Allow: /templates/*.ttf
    
    Allow: /media/*.js
    Allow: /media/*.css
    Allow: /media/*.png
    Allow: /media/*.jpg
    Allow: /media/*.gif
    Allow: /media/*.woff
    Allow: /media/*.svg
    Allow: /media/*.eot
    Allow: /media/*.ttf
    
    Allow: /images/*.png
    Allow: /images/*.jpg
    Allow: /images/*.gif
    
    Allow: /modules/*.js
    Allow: /modules/*.css
    Allow: /modules/*.png
    Allow: /modules/*.jpg
    Allow: /modules/*.gif
    Allow: /modules/*.woff
    Allow: /modules/*.svg
    Allow: /modules/*.eot
    Allow: /modules/*.ttf
    
    Allow: /libraries/*.js
    Allow: /libraries/*.css
    Allow: /libraries/*.png
    Allow: /libraries/*.jpg
    Allow: /libraries/*.gif
    Allow: /libraries/*.woff
    Allow: /libraries/*.svg
    Allow: /libraries/*.eot
    Allow: /libraries/*.ttf
    Disallow: /libraries/
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /logs/
    
    Disallow: /tmp/
    Disallow: /?
    Disallow: /component/
    Allow: /component/osmap/
    
    Disallow: /*order=
    
    User-Agent: BLEXBot
    Disallow: /

  • #2
    Bonsoir,
    il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
    C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

    quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
    - http://robots-txt.com/
    - http://www.robotstxt.org/robotstxt.html
    - http://tool.motoricerca.info/robots-checker.phtml
    - https://support.google.com/webmaster..._topic=6061961

    Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

    Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
    Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
    Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".
    Dernière édition par manu93fr à 20/10/2018, 00h08
    Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérez à l'AFUJ https://www.joomla.fr/association/adherer
    Cette année, le JoomlaDay FR a lieu à Bruxelles, les 20 et 21 mai 2022, plus d'infos et inscriptions : www.joomladay.fr

    Commentaire


    • #3
      En complément, Fred avait fait aussi un article sur le fichier robots.txt : https://www.fred-net.fr/blog/joomla/...fichier-robots

      Pascal
      If anything can go wrong, it will...If I can help, I will ..https://conseilgouz.com

      Commentaire


      • #4
        Envoyé par manu93fr Voir le message
        Bonsoir,
        il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
        C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

        quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
        - http://robots-txt.com/
        - http://www.robotstxt.org/robotstxt.html
        - http://tool.motoricerca.info/robots-checker.phtml
        - https://support.google.com/webmaster..._topic=6061961

        Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

        Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
        Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
        Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".
        Lol
        Le souci c'est que je n'ai pas touché à ce fichier, différentes personnes à différents moments m'ont aidés et ont ajouté une ligbe par ci par là et je me retrouve avec ce fichier.
        Du coup, j'avou que je ne sais pas vraiment quoi faire, est ce que je repars sur le fichier de base de joomla, est ce que je prends pas exemple celui de Daneel donné dans un des liens partagés ou est ce que je modifie celui ci mais comment

        Je n'y comprends rien même en lisant les explications !

        Malheureusement, le testeur de robots ne fonctionne pas pour moi, peut être à cause du https...
        Selon le testeur robot de google, je n'ai que le souci du crawler-delay... donc à part enlever le crawler-delay, je ne sais pas trop quoi faire.
        Des suggestions?

        Merci encore pour votre aide.

        Commentaire


        • #5
          Hello,

          A la lecture du fichier, je vois des erreurs, je veux bien te proposer une version personnalisée et en mp.
          On le publiera une version commentée en exemple sur ce fil de discussion après quelques petites vérifications.





          Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

          Commentaire


          • #6
            Oh, super, merci beaucoup, je vous contacte de suite

            Commentaire

            Annonce

            Réduire
            Aucune annonce pour le moment.

            Partenaire de l'association

            Réduire

            Hébergeur Web PlanetHoster
            Travaille ...
            X