gestion robots.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • gestion robots.txt

    Bonjour à tous,

    Que se passera t-il si j'ajoute ces lignes à mon robot txt :

    Disallow: /*content$
    Disallow: /*author$
    Disallow: /*date$

    Merci à tous !

  • #2
    Re : gestion robots.txt

    Bonjour,

    à mon avis : pas grand chose !!

    tu vas interdire à google de parcourir et indexer les pages commençant par n'importe quoi et se terminant respectivement par :
    content, author et date

    pas la valeur : la chaîne de caractère (ex : http://monsite.fr/blabla/blablacontent ne sera plus indexé ni parcouru).

    Je ne sais pas ce que tu vises exactement, mais sur mon site (+ de 700 articles) : pas une page ne correspondrait à ça ...


    Cordialement
    Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

    Commentaire


    • #3
      Re : gestion robots.txt

      En fait aucune des pages que je souhaites voir indéxées ne contient ces mots.
      Voici donc clairement ce que je cherche à faire, c'est à dire supprimer des duplicates en pagaille comme ceux là:
      je ne parviens pas à empêcher GWT de me signaler ces urls

      /corps-presence-alterite/author/508-axel
      /corps-presence-alterite/author/508-axel?limitstart=0
      /decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent
      /le-coaching/author/508-superuser
      /le-coaching/author/index.php
      /le-coaching/date/2013/4
      /le-coaching/date/22/2012/index.php
      /le-hasard/date/2012/extraits-memoires-praticien-referent
      /le-hasard/date/2012/index.php
      /le-hasard/date/22/2012/index.php
      /lectures/author/508-axel
      /lectures/author/508-superuser
      /lectures/date/2013/4
      /lectures/date/2013/4?catid=9
      /nos-articles/l-hypnose/author/508-superuser

      Commentaire


      • #4
        Re : gestion robots.txt

        Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
        */author/*

        le $ signifie qu'il ne doit plus rien y avoir derrière. Cela ne fonctionnera donc pas correctement dans ton cas.
        Je te recommande de tester d'abord dans GWT : GWT > Exploration > Outils de test du fichier robots.txt

        Tu peux ajouter une règle dans la partie droite (éditable, mais pas sauvegardée sur ton site ! si la règle est bonne et donne de bons résultats il faudra la mettre à jour sur ton site via FTP) :
        ajouter Disallow: */author/* et utiliser une de tes urls ci-dessus dans la zone de test en bas

        Si après avoir cliqué sur tester tu vois apparaître 'bloqué' à la place du bouton et que la règle souhaitée est en inversion vidéo rouge c'est gagné (la règle marche je viens de vérifier).

        J'ai quand même un doute sur la façon dont tes urls sortent dans GWT ? on a l'impression que tu n'as pas activé le mode SEF sur ton site

        Cordialement
        Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

        Commentaire


        • #5
          Re : gestion robots.txt

          Merci beaucoup pour cette approche très pratique et prudente je vais essayer.

          Je viens de vérifier j'ai bien réactiver la réécriture de joomla ...

          Merci

          Commentaire


          • #6
            Re : gestion robots.txt

            Bonjour,

            Je vais abuser encore un peu de ton aide, je viens de chercher et je n'ai pas trouvé pour
            "Tu peux ajouter une règle dans la partie droite"

            C'est à quel endroit ?

            Merci d'avance

            Commentaire


            • #7
              Re : gestion robots.txt

              Bonjour,


              Envoyé par PieceOfCake Voir le message
              Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
              */author/*
              [...]

              Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.



              Cordialement,



              PhilJ
              Créateur de sites internet — Agence web indépendante http://www.e-33.fr | http://www.quali-site.fr (région de Bordeaux)

              Commentaire


              • #8
                Re : gestion robots.txt

                je sais bien malheureusement je ne trouve pas ...

                Commentaire


                • #9
                  Re : gestion robots.txt

                  Re,

                  Dans GWT, malgré toutes les apparences, la zone listant les règles du robots.txt courant est éditable. Tu peux donc ajouter les règles (à tester) que tu souhaites, les modifier, les supprimer etc...

                  Seule limitation : tu ne peux pas les sauvegarder directement sur ton site, il te faut passer par FTP (par exemple) pour ce faire

                  est ce assez clair ?
                  Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

                  Commentaire


                  • #10
                    Re : gestion robots.txt

                    Envoyé par PhilJ Voir le message
                    Bonjour,

                    Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.

                    Cordialement,

                    PhilJ
                    Ce serait mieux ... oui, mais bon, visiblement plus délicat et personnellement je ne pratique pas du tout K2 (même si j'adore al montagne )
                    Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

                    Commentaire


                    • #11
                      Re : gestion robots.txt

                      Oui merci,

                      En revanche quand je teste ensuite dans la ligne inférieure une url avec author dedans... ça me dite que c'est valide

                      par exemple :

                      Disallow: */author/*

                      url:decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent

                      Quand je clique sur "tester" il y a écrit "autorisé"

                      Commentaire

                      Annonce

                      Réduire
                      Aucune annonce pour le moment.

                      Partenaire de l'association

                      Réduire

                      Hébergeur Web PlanetHoster
                      Travaille ...
                      X