Ordre de traitement du robots.txt par Google

Réduire
X
Réduire
 
  • Page sur 3
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages
Précédent 1 2 3 template Suivant
  • #31
    Re : Ordre de traitement du robots.txt par Google

    Bonjour PhilJ,
    C'est très exactement ce que je cherchais à savoir.
    Merci pour ces explications claires.
    Amitiés champenoises à la Guyenne, si chère à Montaigne.
    Fred
    http://www.neurogelenmarche.org/
    Une association de handicapés moteur. Projet Kunming 2018
    https://www.fred-net.fr création internet
    Hébergé avec bonheur et depuis 2002 chez PHPNET

    Commentaire

    • #32
      Re : Ordre de traitement du robots.txt par Google

      Bonjour Fred

      Envoyé par fredjouan Voir le message
      J'ai également ajouté la ligne (mais cela ne concerne que ceux qui utilisent ce script) :
      Disallow: /aesecure/
      En fait, ce n'est pas nécessaire.

      Le type qui a programmé aeSecure a songé à inclure des balises noindex et noarchive dans ses pages php, html et .htaccess

      P.ex. si tu vas voir le fichier .htaccess dans le dossier /aesecure, tu trouveras ceci :

      Code:
      # aeSecure
<IfModule mod_headers.c>
  Header set X-Robots-Tag "noindex, noarchive"
</IfModule>
      Ceci a une portée globale càd que ces deux balises sont valables pour tout ce qui se trouve sous /aesecure; que ce soit des images ou du code html. Cela a le même effet que la ligne que tu as ajoutée.

      Exception faite que; à moins que tu n'ais protégé l'accès au fichier robots.txt (option 2.7 d'aeSecure), n'importe qui qui accéderait à ton fichier http://tonsite/robots.txt pourra y lire que, tiens tiens, tu es utilisateur d'aeSecure. Personnellement, je cherche toujours à en dire le moins possible à propos de mon site.

      A moins, donc, que tu n'ais activé 2.7, tu donnes donc une info intéressante à ton lecteur (et tu ne sais pas si c'est un gentil ou un méchant) et, surtout, cette information ne sert à rien puisqu'aeSecure est déjà protégé contre l'indexation.

      En supplément du .htaccess dont j'ai parlé ci-dessus, si tu affiches le code source des pages d'aeSecure (ta page setup.php p.ex.); tu pourras encore y trouver :

      Code:
      <meta name="robots" content="noindex, nofollow" />
      dans la section <head>; qui est une répétition du .htaccess (au cas où ce fichier aurait été supprimé par erreur p.ex.).

      Donc, non, vraiment, inutile d'ajouter le disallow dans le robots.txt; le développeur de Nono a déjà intégré cette protection-là dès la version 0 d'aeSecure.

      Bonne journée.

      [Edit] Et, pour faire de la veille sur le mot aeSecure, je puis te confirmer que je n'ai jamais vu le moindre résultat dans les SERPS de Google qui pointe vers le dossier /aesecure d'un site; jamais ! Les balises sont bien prises en compte; sans aucune action du webmaster. [/Edit]
      Dernière édition par cavo789 à 30/08/2015, 14h57
      Christophe (cavo789)
      Mon blog, on y parle Docker, PHP, WSL, Markdown et plein d'autres choses : https://www.avonture.be
      Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)​

      Commentaire

      • #33
        Re : Ordre de traitement du robots.txt par Google

        Bonjour Christophe,
        Des explications claires, merci à toi, je vais retirer cette ligne du fichier. Ceci dit, depuis que j'utilise ton logiciel, je prends toujours soin de protéger le fichier Robots.txt.
        Tu as peut-être vu, Daneel pense beaucoup de bien d'aeSecure et en parle dans ce fil.
        amicalement
        Fred
        http://www.neurogelenmarche.org/
        Une association de handicapés moteur. Projet Kunming 2018
        https://www.fred-net.fr création internet
        Hébergé avec bonheur et depuis 2002 chez PHPNET

        Commentaire

        • #34
          Re : Ordre de traitement du robots.txt par Google

          Salut Fred

          Envoyé par fredjouan Voir le message
          Tu as peut-être vu, Daneel pense beaucoup de bien d'aeSecure et en parle dans ce fil.
          Oui j'avais vu, merci.
          Christophe (cavo789)
          Mon blog, on y parle Docker, PHP, WSL, Markdown et plein d'autres choses : https://www.avonture.be
          Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)​

          Commentaire

          • #35
            Re : Ordre de traitement du robots.txt par Google

            Par contre, il semble que lorsqu'on cache le fichier Robots.txt, la Search Console de Google n'a pas accès au sitemap:
            # This file is forbidden for browser access

            User-agent: Baiduspider*
            Disallow: /

            User-agent: Sogou*
            Disallow: /
            Alors que, lorsque j'ai testé le sitemap de mon site, il l'a trouvé très bien. Tous les liens trouvés, pas d'erreur, mais j'avais fourni directement l'URL.
            http://www.neurogelenmarche.org/
            Une association de handicapés moteur. Projet Kunming 2018
            https://www.fred-net.fr création internet
            Hébergé avec bonheur et depuis 2002 chez PHPNET

            Commentaire

            • #36
              Re : Ordre de traitement du robots.txt par Google

              Salut Fred

              Envoyé par fredjouan Voir le message
              Par contre, il semble que lorsqu'on cache le fichier Robots.txt, la Search Console de Google n'a pas accès au sitemap:

              Alors que, lorsque j'ai testé le sitemap de mon site, il l'a trouvé très bien. Tous les liens trouvés, pas d'erreur, mais j'avais fourni directement l'URL.
              Non, non, là ce que tu me donnes, c'est le contenu du fichier robots.txt tel que toi tu l'as vu (tu as accédé toi-même à ton url http:// tonsite/robots.txt).

              Lorsqu'on accède à robots.txt, aeSecure vérifie "qui" accède : un humain ou un moteur de recherche. Dans le premier cas, le contenu affiché est ce que tu as montré; dans le second cas, c'est bien le robots.txt qui est envoyé.

              Vérifie toujours si tu as la dernière version d'aeSecure (v2.0.2) mais le mode de fonctionnement de la protection est celui que je décris ci-dessus.

              Bonne soirée.
              Christophe (cavo789)
              Mon blog, on y parle Docker, PHP, WSL, Markdown et plein d'autres choses : https://www.avonture.be
              Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)​

              Commentaire

              Précédent 1 2 3 template Suivant

              Annonce

              Réduire
              Aucune annonce pour le moment.

              Partenaire de l'association

              Réduire
              Hébergeur Web PlanetHoster
              Travaille ...
              X