Aide pour vérifier fichier Robots.txt

Réduire
X
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Problème] Aide pour vérifier fichier Robots.txt

    Bonjour,

    Je viens de subir une perte de 50% de mes visites du jour au lendemain et en allant sur webmaster tools, je vois qu'il est écrit que google ne peut accéder à toutes mes ressources...

    Je voulais avoir votre avis sur mon fichier robots.txt, savoir s'il était correct ou s'il y avait quelques modifications à y apporter.
    Je n'y ai pastouché depuis un bail donc on ne sait jamais.

    De son coté google me donne un avertissement sur le "crawl-delay : 10"

    Toute remarque et suggestion est la bienvenue, merci d'avance

    Code:
    # If the Joomla site is installed within a folder such as at
    # e.g. www.example.com/joomla/ the robots.txt file MUST be
    # moved to the site root at e.g. www.example.com/robots.txt
    # AND the joomla folder name MUST be prefixed to the disallowed
    # path, e.g. the Disallow rule for the /administrator/ folder
    # MUST be changed to read Disallow: /joomla/administrator/
    #
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/orig.html
    #
    # For syntax checking, see:
    # http://tool.motoricerca.info/robots-checker.phtml
    
    User-agent: Mediapartners-Google
    Allow: /
    User-agent: *
    Allow: /*.js*
    Allow: /*.css*
    Allow: /*.png*
    Allow: /*.jpg*
    Allow: /*.gif*
    Crawl-delay: 10
    
    Allow: /index.php?option=com_jreviews&format=ajax
    Allow: /components/*.js
    Allow: /components/*.css
    Allow: /components/*.png
    Allow: /components/*.jpg
    Allow: /components/*.gif
    Allow: /components/*.woff
    Allow: /components/*.svg
    Allow: /components/*.eot
    Allow: /components/*.ttf
    
    Allow: /templates/*.js
    Allow: /templates/*.png
    Allow: /templates/*.jpg
    Allow: /templates/*.gif
    Allow: /templates/*.css
    Allow: /templates/*.woff
    Allow: /templates/*.svg
    Allow: /templates/*.eot
    Allow: /templates/*.ttf
    
    Allow: /media/*.js
    Allow: /media/*.css
    Allow: /media/*.png
    Allow: /media/*.jpg
    Allow: /media/*.gif
    Allow: /media/*.woff
    Allow: /media/*.svg
    Allow: /media/*.eot
    Allow: /media/*.ttf
    
    Allow: /images/*.png
    Allow: /images/*.jpg
    Allow: /images/*.gif
    
    Allow: /modules/*.js
    Allow: /modules/*.css
    Allow: /modules/*.png
    Allow: /modules/*.jpg
    Allow: /modules/*.gif
    Allow: /modules/*.woff
    Allow: /modules/*.svg
    Allow: /modules/*.eot
    Allow: /modules/*.ttf
    
    Allow: /libraries/*.js
    Allow: /libraries/*.css
    Allow: /libraries/*.png
    Allow: /libraries/*.jpg
    Allow: /libraries/*.gif
    Allow: /libraries/*.woff
    Allow: /libraries/*.svg
    Allow: /libraries/*.eot
    Allow: /libraries/*.ttf
    Disallow: /libraries/
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /logs/
    
    Disallow: /tmp/
    Disallow: /?
    Disallow: /component/
    Allow: /component/osmap/
    
    Disallow: /*order=
    
    User-Agent: BLEXBot
    Disallow: /

  • #2
    Bonsoir,
    il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
    C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

    quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
    - http://robots-txt.com/
    - http://www.robotstxt.org/robotstxt.html
    - http://tool.motoricerca.info/robots-checker.phtml
    - https://support.google.com/webmaster..._topic=6061961

    Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

    Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
    Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
    Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".
    Dernière édition par manu93fr à 20/10/2018, 01h08
    “Un message d’erreur sur votre site Joomla ... ayez le reflexe de consulter le nouveau service (en Beta) de la base de connaissance https://kb.joomla.fr
    Ce forum, vous l'aimez ? il vous a sauvé la vie ? Vous y apprenez chaque jour ? Alors adhérer à l'AFUJ https://www.joomla.fr/association/adherer

    Commentaire


    • #3
      En complément, Fred avait fait aussi un article sur le fichier robots.txt : https://www.fred-net.fr/blog/joomla/...fichier-robots

      Pascal
      If anything can go wrong, it will...
      If I can help, I will ..https://conseilgouz.com

      Commentaire


      • #4
        Envoyé par manu93fr Voir le message
        Bonsoir,
        il ne faut pas jouer ou faire du "a peu près" avec ce fichier texte !
        C'est toi qui a inventé tes règles là ... non? Ce fichier a ses propres règles

        quelques lectures dont plusieurs sont directement commentées dans ton propre fichier robots.txt :
        - http://robots-txt.com/
        - http://www.robotstxt.org/robotstxt.html
        - http://tool.motoricerca.info/robots-checker.phtml
        - https://support.google.com/webmaster..._topic=6061961

        Juste pour que tu comprennes qu'il ne faut pas tatonner ... une traduction en français de ce qu'il ne faut pas faire (et que tu as fait )

        Notez également que la globulation et les expressions réulières ne sont pas prises en charge dans les lignes User-agent ou Disallow.
        Le '*' dans le champ User-agent est une valeur spéciale signifiant "tout robot".
        Plus précisément, vous ne pouvez pas avoir de lignes telles que "User-agent: * bot *", "Disallow: / tmp / *" ou "Disallow: * .gif".
        Lol
        Le souci c'est que je n'ai pas touché à ce fichier, différentes personnes à différents moments m'ont aidés et ont ajouté une ligbe par ci par là et je me retrouve avec ce fichier.
        Du coup, j'avou que je ne sais pas vraiment quoi faire, est ce que je repars sur le fichier de base de joomla, est ce que je prends pas exemple celui de Daneel donné dans un des liens partagés ou est ce que je modifie celui ci mais comment

        Je n'y comprends rien même en lisant les explications !

        Malheureusement, le testeur de robots ne fonctionne pas pour moi, peut être à cause du https...
        Selon le testeur robot de google, je n'ai que le souci du crawler-delay... donc à part enlever le crawler-delay, je ne sais pas trop quoi faire.
        Des suggestions?

        Merci encore pour votre aide.

        Commentaire


        • #5
          Hello,

          A la lecture du fichier, je vois des erreurs, je veux bien te proposer une version personnalisée et en mp.
          On le publiera une version commentée en exemple sur ce fil de discussion après quelques petites vérifications.





          Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

          Commentaire


          • #6
            Oh, super, merci beaucoup, je vous contacte de suite

            Commentaire

            Annonce

            Réduire
            1 sur 2 < >

            C'est [Réglé] et on n'en parle plus ?

            A quoi ça sert ?
            La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

            Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

            Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
            Comment ajouter la mention [Réglé] à votre discussion ?
            1 - Aller sur votre discussion et éditer votre premier message :


            2 - Cliquer sur la liste déroulante Préfixe.

            3 - Choisir le préfixe [Réglé].


            4 - Et voilà… votre discussion est désormais identifiée comme réglée.

            2 sur 2 < >

            Assistance au forum - Outil de publication d'infos de votre site

            Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

            Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

            Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

            UTILISER À VOS PROPRES RISQUES :
            L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

            Problèmes connus :
            FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

            Installation :

            1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

            Archive zip : https://github.com/AFUJ/FPA/zipball/master

            2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

            3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

            4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

            5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

            6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
            et remplacer www. votresite .com par votre nom de domaine


            Exemples:
            Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
            Télécharger le script fpa-fr.php dans: /public_html/
            Pour executer le script: http://www..com/fpa-fr.php

            Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
            Télécharger le script fpa-fr.php dans: /public_html/cms/
            Pour executer le script: http://www..com/cms/fpa-fr.php

            En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

            Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
            Voir plus
            Voir moins
            Travaille ...
            X