Tutoriel sur le fichier robots.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • [Partage] Tutoriel sur le fichier robots.txt

    Bonjour,
    À destination des utilisateurs de Joomla! débutants, ce petit didacticiel sur le paramétrage du fichier robots.txt pour rendre visible votre site par les robots d'indexation.

    Fred
    Dernière édition par manu93fr à 12/05/2017, 21h23
    http://www.neurogelenmarche.org/
    Une association de handicapés moteur. Projet Kunming 2018
    https://www.fred-net.fr création internet
    Hébergé avec bonheur et depuis 2002 chez PHPNET

  • #2
    Re : Tutoriel sur le fichier robots.txt

    Bonjour,

    Merci Fred pour le partage.

    A titre d'info pour les débutants, vous pouvez également tester et détecter les erreurs de votre fichier robots.txt via GSC (Google Search Console) : https://www.google.com/webmasters/tools/home?hl=fr

    Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

    Commentaire


    • #3
      Re : Tutoriel sur le fichier robots.txt

      Merci beaucoup Fred, pour ce tuto encore quelque chose que je ne savais pas.

      Merci

      Cordialement alva

      Commentaire


      • #4
        Re : Tutoriel sur le fichier robots.txt

        C'est sympa de votre part, c'est un fichier important qui demande de l'attention, plutôt dans le cadre de la SEO. Les moins aguerris peuvent y trouver quelques idées.
        @Daneel : je suis en train de terminer une adaptation du lien que tu m'avais donné pour s'affranchir de la durée du cache du fichier analytics.js (qui perturbe la note des tests Page Speed). C'est efficace mais un peu technique…
        @Alva : et remplis-moi ces balises titre et description (title et Alt) sur les images et les liens ! Tu gagneras en lisibilité dans les moteurs
        http://www.neurogelenmarche.org/
        Une association de handicapés moteur. Projet Kunming 2018
        https://www.fred-net.fr création internet
        Hébergé avec bonheur et depuis 2002 chez PHPNET

        Commentaire


        • #5
          Re : Tutoriel sur le fichier robots.txt

          Bonjour Fred,

          Dans mon fichier d'éxploration de Google Search j'ai certains paramètres ont des noms a rallonge composés de chiffres et de symboles type = % etc...

          De plus je ne sais pas vraiment si c'est du plug in, modules, composants etc...

          Et une dernière il doit forcement y avoir des règles auxquelles ont ne devrais pas ouvrir au moteurs de recherche ? Comment savoir si on ne fait pas une bourde ?

          Commentaire


          • #6
            Re : Tutoriel sur le fichier robots.txt

            Tu parles du test du fichier robots.txt ?
            Donne moi le nom d'un fichier parce que "type = %", ça ne me cause pas beaucoup...
            http://www.neurogelenmarche.org/
            Une association de handicapés moteur. Projet Kunming 2018
            https://www.fred-net.fr création internet
            Hébergé avec bonheur et depuis 2002 chez PHPNET

            Commentaire


            • #7
              Re : Tutoriel sur le fichier robots.txt

              Juste pour dire merci @fredjouan ! c'est clair et net, excellent tuto !

              Commentaire


              • #8
                Re : Tutoriel sur le fichier robots.txt

                Vos encouragements me poussent à continuer la démarche de partage de mon expérience Joomla avec une série de tutoriels dédiés à la SEO.
                Patience, patience,…
                Fred
                http://www.neurogelenmarche.org/
                Une association de handicapés moteur. Projet Kunming 2018
                https://www.fred-net.fr création internet
                Hébergé avec bonheur et depuis 2002 chez PHPNET

                Commentaire


                • #9
                  Re : Tutoriel sur le fichier robots.txt

                  Super Fred!
                  Christophe (cavo789)
                  Mon blog, on y parle Docker, PHP, WSL, Markdown et plein d'autres choses : https://www.avonture.be
                  Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)​

                  Commentaire


                  • #10
                    Re : Tutoriel sur le fichier robots.txt

                    J'ai résolu le problème, c'est tout simplement du iframe c'est pour ça que ça ne donnait rien merci quand même Fred c'est excellent

                    Commentaire


                    • #11
                      Re : Tutoriel sur le fichier robots.txt

                      salut
                      merci pour le tuto
                      à noter (pour info) que Joomla! prévoit plus ou moins une parade au souci des extensions, car les développeurs devraient utiliser le dossier "media" pour y stocker CSS, JS et images pour leurs extensions

                      Mais ça sort de ton tuto bien sur, j'y pense juste pour l'exemple avec Mediabox CK (ça me donne des pistes d'amélioration)
                      Par contre je me demande quand meme en quoi les scripts et css de Mediabox font chuter le SEO si pas accessibles par google ? ce n'est qu'une lightbox, ça ne devrait pas avoir d'impact sur le référencement , si ?

                      CEd
                      Vive Joomla! http://www.joomlack.fr Tutoriels et extensions pour Joomla!. Livre création de template Joomla de plus de 200 pages.
                      http://www.template-creator.com Outil de création de templates
                      Module Maximenu CK - Megamenu, multicolonnes, chargement de module, description de lien, deroulement animé - Compatible Virtuemart, Hikashop

                      Commentaire


                      • #12
                        Re : Tutoriel sur le fichier robots.txt

                        Envoyé par ced1870 Voir le message
                        Par contre je me demande quand meme en quoi les scripts et css de Mediabox font chuter le SEO si pas accessibles par google ? ce n'est qu'une lightbox, ça ne devrait pas avoir d'impact sur le référencement , si ?
                        Bonjour,

                        C'est indiqué dans search console. A partir du moment ou tu bloque css & js avec robots.txt, tu te pénalise au niveau du référencement. Je pense que cela doit dater de 2015 avec la politique de google vis à vis du mobile.

                        Les solutions sont multiples...
                        Exemple du fichier robots.txt de joomla.fr : https://www.joomla.fr/robots.txt

                        Code:
                        User-agent: *
                        Allow: /*.js*
                        Allow: /*.css*
                        Allow: /*.png*
                        Allow: /*.jpg*
                        Allow: /*.gif*
                        
                        Disallow: /administrator/
                        Disallow: /bin/
                        Disallow: /cache/
                        Disallow: /cli/
                        Disallow: /includes/
                        Disallow: /installation/
                        Disallow: /language/
                        Disallow: /layouts/
                        Disallow: /libraries/
                        Disallow: /logs/
                        Disallow: /tmp/
                        # ------------- COMPOSANTS --------------
                        Allow: /components/*/js/jquery/*.js?*
                        Allow: /components/*/js/*.js?*
                        
                        # ------------- MODULES --------------
                        Allow: /modules/*/css/*.css$
                        Allow: /modules/*/css/font/*.ttf$
                        
                        # ------------- PLUGINS --------------
                        Allow: /plugins/system/*/css/*.css$
                        Allow: /plugins/system/*/js/*.js$
                        Allow: /plugins/system/*/css/*.css?*
                        Allow: /plugins/system/*/js/*.js?*
                        Allow: /plugins/system/*/themes/standard/css/.css?*
                        
                        # ------------- TEMPLATES --------------
                        Allow: /templates/*/css/*.css$
                        Allow: /templates/*/css/presets/*.css$
                        Allow: /templates/*/js/*.js$
                        
                        # -----------JSitemap entries-----------
                        Sitemap: [URL]http://www.joomla.fr/index.php?option=com_jmap&view=sitemap&format=xml[/URL]
                        Petit rappel de Simon Kloostra sur le sujet :
                        Here you will find articles dedicated to some more advanced topics, or topics that fall outside the scope of the other categories in the site.
                        Dernière édition par daneel à 29/06/2017, 13h58
                        Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

                        Commentaire


                        • #13
                          Re : Tutoriel sur le fichier robots.txt

                          Merci Daneel pour ce fichier robots.txt bien structuré et qui doit permettre un accès à Google d'un maximum d'extensions disponibles.
                          Il ne dédouane cependant pas d'une vérification dans la Search Console, pour pister les extensions non conformes.
                          Avec ta permission, je vais l'ajouter comme modèle de base pour une bonne pratique SEO.
                          Dernière édition par fredjouan à 25/07/2017, 09h15
                          http://www.neurogelenmarche.org/
                          Une association de handicapés moteur. Projet Kunming 2018
                          https://www.fred-net.fr création internet
                          Hébergé avec bonheur et depuis 2002 chez PHPNET

                          Commentaire


                          • #14
                            Re : Tutoriel sur le fichier robots.txt

                            Bonjour, et merci pour l'ensemble des connaissances que vous partagez généreusement ici.

                            J'ai moi aussi une question.
                            Comment gérer les ressources bloquées et signalées par la console du type :

                            Code:
                            https://www.gstatic.com/recaptcha/api2/logo_48.png
                            et toutes celles liées à :

                            Code:
                            https://maps.googleapis.com/maps/api/js/AuthenticationService.Authenticate ...
                            Je suppose que dans ces cas, on ne peut rien faire, ou bien ?
                            Merci.
                            "Si vous n’êtes pas impliqués émotionnellement dans ce que vous créez, laissez tomber."
                            https://www.graphiquedesign-bf.com/

                            Commentaire


                            • #15
                              Re : Tutoriel sur le fichier robots.txt

                              Bonjour,
                              Malheureusement, les ressources externes ne sont, à ma connaissance, pas concernées par robots.txt mais je comprends mal pourquoi des ressources Google ne sont pas accessibles... par Google.
                              http://www.neurogelenmarche.org/
                              Une association de handicapés moteur. Projet Kunming 2018
                              https://www.fred-net.fr création internet
                              Hébergé avec bonheur et depuis 2002 chez PHPNET

                              Commentaire

                              Annonce

                              Réduire
                              Aucune annonce pour le moment.

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X