gestion robots.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • gestion robots.txt

    Bonjour à tous,

    Que se passera t-il si j'ajoute ces lignes à mon robot txt :

    Disallow: /*content$
    Disallow: /*author$
    Disallow: /*date$

    Merci à tous !

  • #2
    Re : gestion robots.txt

    Bonjour,

    à mon avis : pas grand chose !!

    tu vas interdire à google de parcourir et indexer les pages commençant par n'importe quoi et se terminant respectivement par :
    content, author et date

    pas la valeur : la chaîne de caractère (ex : http://monsite.fr/blabla/blablacontent ne sera plus indexé ni parcouru).

    Je ne sais pas ce que tu vises exactement, mais sur mon site (+ de 700 articles) : pas une page ne correspondrait à ça ...


    Cordialement
    Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

    Commentaire


    • #3
      Re : gestion robots.txt

      En fait aucune des pages que je souhaites voir indéxées ne contient ces mots.
      Voici donc clairement ce que je cherche à faire, c'est à dire supprimer des duplicates en pagaille comme ceux là:
      je ne parviens pas à empêcher GWT de me signaler ces urls

      /corps-presence-alterite/author/508-axel
      /corps-presence-alterite/author/508-axel?limitstart=0
      /decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent
      /le-coaching/author/508-superuser
      /le-coaching/author/index.php
      /le-coaching/date/2013/4
      /le-coaching/date/22/2012/index.php
      /le-hasard/date/2012/extraits-memoires-praticien-referent
      /le-hasard/date/2012/index.php
      /le-hasard/date/22/2012/index.php
      /lectures/author/508-axel
      /lectures/author/508-superuser
      /lectures/date/2013/4
      /lectures/date/2013/4?catid=9
      /nos-articles/l-hypnose/author/508-superuser

      Commentaire


      • #4
        Re : gestion robots.txt

        Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
        */author/*

        le $ signifie qu'il ne doit plus rien y avoir derrière. Cela ne fonctionnera donc pas correctement dans ton cas.
        Je te recommande de tester d'abord dans GWT : GWT > Exploration > Outils de test du fichier robots.txt

        Tu peux ajouter une règle dans la partie droite (éditable, mais pas sauvegardée sur ton site ! si la règle est bonne et donne de bons résultats il faudra la mettre à jour sur ton site via FTP) :
        ajouter Disallow: */author/* et utiliser une de tes urls ci-dessus dans la zone de test en bas

        Si après avoir cliqué sur tester tu vois apparaître 'bloqué' à la place du bouton et que la règle souhaitée est en inversion vidéo rouge c'est gagné (la règle marche je viens de vérifier).

        J'ai quand même un doute sur la façon dont tes urls sortent dans GWT ? on a l'impression que tu n'as pas activé le mode SEF sur ton site

        Cordialement
        Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

        Commentaire


        • #5
          Re : gestion robots.txt

          Merci beaucoup pour cette approche très pratique et prudente je vais essayer.

          Je viens de vérifier j'ai bien réactiver la réécriture de joomla ...

          Merci

          Commentaire


          • #6
            Re : gestion robots.txt

            Bonjour,

            Je vais abuser encore un peu de ton aide, je viens de chercher et je n'ai pas trouvé pour
            "Tu peux ajouter une règle dans la partie droite"

            C'est à quel endroit ?

            Merci d'avance

            Commentaire


            • #7
              Re : gestion robots.txt

              Bonjour,


              Envoyé par PieceOfCake Voir le message
              Si tu veux empêcher les urls contenant author (n'importe où) il faut essayer une règle comme :
              */author/*
              [...]

              Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.



              Cordialement,



              PhilJ
              Créateur de sites internet — Agence web indépendante http://www.e-33.fr | http://www.quali-site.fr (région de Bordeaux)

              Commentaire


              • #8
                Re : gestion robots.txt

                je sais bien malheureusement je ne trouve pas ...

                Commentaire


                • #9
                  Re : gestion robots.txt

                  Re,

                  Dans GWT, malgré toutes les apparences, la zone listant les règles du robots.txt courant est éditable. Tu peux donc ajouter les règles (à tester) que tu souhaites, les modifier, les supprimer etc...

                  Seule limitation : tu ne peux pas les sauvegarder directement sur ton site, il te faut passer par FTP (par exemple) pour ce faire

                  est ce assez clair ?
                  Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

                  Commentaire


                  • #10
                    Re : gestion robots.txt

                    Envoyé par PhilJ Voir le message
                    Bonjour,

                    Une autre solution consiste à éliminer la source du problème, ce qui suppose bien sûr de remonter jusqu'à ce qui fait que des URL comportant les chaînes /author/ et /date/ sont possibles. Une fois cette source trouvée et éliminée, plus besoin d'intervenir dans le robots.txt.

                    Cordialement,

                    PhilJ
                    Ce serait mieux ... oui, mais bon, visiblement plus délicat et personnellement je ne pratique pas du tout K2 (même si j'adore al montagne )
                    Il y a 10 sortes de gens. Ceux qui savent compter en binaire et ceux qui ne savent pas ...

                    Commentaire


                    • #11
                      Re : gestion robots.txt

                      Oui merci,

                      En revanche quand je teste ensuite dans la ligne inférieure une url avec author dedans... ça me dite que c'est valide

                      par exemple :

                      Disallow: */author/*

                      url:decouverte-de-la-pnl/author/index.php/extraits-memoires-praticien-referent

                      Quand je clique sur "tester" il y a écrit "autorisé"

                      Commentaire

                      Annonce

                      Réduire
                      1 sur 2 < >

                      C'est [Réglé] et on n'en parle plus ?

                      A quoi ça sert ?
                      La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

                      Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

                      Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
                      Comment ajouter la mention [Réglé] à votre discussion ?
                      1 - Aller sur votre discussion et éditer votre premier message :


                      2 - Cliquer sur la liste déroulante Préfixe.

                      3 - Choisir le préfixe [Réglé].


                      4 - Et voilà… votre discussion est désormais identifiée comme réglée.

                      2 sur 2 < >

                      Assistance au forum - Outil de publication d'infos de votre site

                      Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

                      Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

                      Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

                      UTILISER À VOS PROPRES RISQUES :
                      L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

                      Problèmes connus :
                      FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

                      Installation :

                      1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

                      Archive zip : https://github.com/AFUJ/FPA/zipball/master

                      2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

                      3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

                      4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

                      5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

                      6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
                      et remplacer www. votresite .com par votre nom de domaine


                      Exemples:
                      Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
                      Télécharger le script fpa-fr.php dans: /public_html/
                      Pour executer le script: http://www..com/fpa-fr.php

                      Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
                      Télécharger le script fpa-fr.php dans: /public_html/cms/
                      Pour executer le script: http://www..com/cms/fpa-fr.php

                      En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

                      Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
                      Voir plus
                      Voir moins

                      Partenaire de l'association

                      Réduire

                      Hébergeur Web PlanetHoster
                      Travaille ...
                      X