Indexée malgré le blocage par le fichier robots.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • Indexée malgré le blocage par le fichier robots.txt

    Bonjour,
    Depuis ce matin, j'ai ce message de Google via la Search Console.
    Quand je vais voir l'url en question, ça m'amène sur la page de recherche. Je n'ai jamais mis en place cette page, donc aucun article ou élément de menu pointe sur cette page via Joomla!.
    Comme éviter que cette page soit indexer ?
    Le lien ressemble à ça : http://www.monsite.com/index.php?opt...rase=all&searc hword={search_term}
    Dernière édition par nano à 17/05/2020, 08h06

  • #2
    Bonjour

    Que contient ton fichier robots.txt ? Si je te comprends bien, tu aurais déjà mis une règle en place pour ce blocage...

    Ci-dessous un code qui devrait faire l'affaire il me semble (non testé)

    Code:
    User-agent: *
    Disallow: /index.php?option=com_search
    En mode SEF (réécriture), ce serait :

    Code:
    User-agent: *
    Disallow: /*com_search*/
    Christophe (cavo789)
    Logiciel gratuit de scan antivirus : https://github.com/cavo789/aesecure_quickscan (plus de 45.000 virus détectés, 700.000 fichiers sur liste blanche)
    Développeur de marknotes, logiciel de gestion de prises de notes avec interface web et de multiples convertisseur https://github.com/cavo789/marknotes
    Mes logiciels OpenSource : https://www.avonture.be

    Cette anné, le JoomlaDay 2020 FR aura lieu à Bruxelles les 2 et 3 octobre 2020. Plus d'infos sur https://www.joomladay.fr

    Commentaire


    • #3
      Salut Christophe et merci de ton aide.

      Voici le code de mon fichier robots.txt

      Code:
      Disallow: /administrator/
      Disallow: /bin/
      Disallow: /cache/
      Disallow: /cli/
      Disallow: /components/
      Disallow: /includes/
      Disallow: /installation/
      Disallow: /language/
      Disallow: /layouts/
      Disallow: /libraries/
      Disallow: /logs/
      Disallow: /media/
      Disallow: /modules/
      Disallow: /plugins/
      Disallow: /templates/
      Disallow: /tmp/
      Disallow: /*.php$
      Disallow: /*.inc$
      Disallow: /*.gz$
      Disallow: /*.pdf$
      Disallow: /*?*
      Disallow: /*?
      Disallow: /*&
      Je ne sais même pas d'où elle sort cette page !

      Commentaire


      • #4
        Bonjour,

        En toute franchise, c'est un peu n'importe quoi ton fichier robots.txt
        Tu peux expliquer les derniers disallow après le tmp ? et le user-agent ?


        Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

        Commentaire


        • #5
          Autant pour moi, j'ai oublié de coller le user-agent qui se trouve tout en haut de ces lignes. User-agent: *
          Les disallow après le tmp, j'ai vu lu ça sur un tutto, qui disait qu'il était bien de bloquer ce genre de fichier

          Commentaire


          • #6
            salut les 3 dernieres lignes peuvent se comprendre car tu bloque les url non réecrite, mais bloquer les pdf, les fichiers php ne me semble pas être le mieux. Les fichiers gz sont des fichiers compréssés envoyé au navigateur quand tu as activé le paramètre correspondant . Car si tu as un composant qui les necessite, tu est dans le misère.

            PS:tu n'as pas un module de recherche?
            Cette page existe car le composant est actif.
            Mon site en cours de construction avec de nouvelles catégories de documents...
            https://informaticien51.fr

            Commentaire


            • #7
              Salut et merci Fab, je vais rectifier mon fichier alors.
              Non, je n'ai pas de module de recherche en place sur mon site, donc si je comprends bien, il me suffit de désactiver le composant afin que Google n'indexe pas cette page ?

              Commentaire


              • #8
                A tester, mais je pense que oui.

                D'autant plus que la requete de recherche est all, donc sur tout ce qui est indéxé.
                Mon site en cours de construction avec de nouvelles catégories de documents...
                https://informaticien51.fr

                Commentaire


                • #9
                  Super, merci à vous 3

                  Commentaire


                  • #10
                    Petite précision : les directives du robots.txt empêche le crawl de la page, pas son indexation. Si vous voulez vraiment empêcher cette dernière, vous devez mettre "noindex" comme "meta robots" dans l'en-tête de la page.
                    Tous les services pour les sites Joomla! : sécurité, nettoyage de sites piratés, hébergement, SEO, applications Fabrik, migration, compatibilité mobiles, accessibilité, ...
                    Administrateur certifié Joomla! 3
                    https://www.betterweb.fr

                    Commentaire


                    • #11
                      Merci, désolé d'avoir été un peu trop direct. Le plus simple étant de revenir au fichier robots.txt par défaut. Avant d'appliquer certaines modifications vu dans des tutoriels, n'hésite pas à poser la question sur le forum. Ce serait intéressant de nous dire si ces modifications récentes ont eu un impact sur ton référencement, si tu as pris le temps d'évaluer tes changements.

                      En général, Il y a beaucoup de risque à interdire les moteurs de recherche et Il y a d'autres moyens de bloquer une partie du site. Il faut connaître par exemple la différence entre robots.txt, x-robots-tag et le noindex que l'on peut définir dans l'entête des pages.

                      Pour ton problème d'url qui n'a pas été réécrite... Bien que supprimé ou désactivé, le module de recherche devait être actif au moment du passage du robot, cela arrive assez souvent. Il faut se rappeler que certaines fonctionnalités nécessitent d'avoir des liens de menu. Le module de recherche par exemple a besoin d'avoir le lien de menu correspondant au formulaire de recherche. C'est le cas également de la page de création de compte, de connexion ou rappel de mot de passe. Sinon, on se retrouve avec des indexations d'url non-sef de composant appelé par différents liens présent dans le site comme les modules natifs.

                      Perso, j'ai toujours créé un menu supplémentaire pour intégrer ces liens, on le nomme souvent menu caché car il n'est pas affiché publiquement mais permet de contrôler (comme pour les autres liens) la mise en page, l'assignation de module, l'accès et le référencement.

                      Comme l'indique leFabdu51, tu peux effectivement désactiver la recherche, rediriger...

                      C'est l'occasion également de découvrir deux extensions intéressantes :
                      - NSTS - Non-SEF to SEF : https://extensions.joomla.org/extension/non-sef-to-sef/
                      - Advance redirect : https://extensions.joomla.org/extens...ancedredirect/

                      Pour info, on peut utiliser robotx.txt pour indiquer le lien du sitemap xml aux autres moteurs de recherche, cela fonctionne plutôt bien.

                      Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

                      Commentaire


                      • #12
                        Merci pour vos infos.
                        Tu n'as pas t'excuser Yann, je ne l'ai pas mal prit. Si c'est de la me... faut le dire, pas de soucis pour moi c'est comme ça que l'on avance

                        Pour le noindex, généralement je l'indique dans mon lien de menu pour éviter l'indexation. Le site en question est sur google que depuis quelques jours, donc difficile de mesurer l'impact du référencement.
                        J'ai juste du mal à comprendre comment cette page a pu être indexée et de plus visitée alors qu'il n'y a aucun lien de menu qui l'appelle sur mon site.

                        En ce qui concerne le lien du sitemap, je l'ai ajouté également.

                        Commentaire


                        • #13
                          C'est l'occasion également de découvrir deux extensions intéressantes :
                          - NSTS - Non-SEF to SEF : https://extensions.joomla.org/extension/non-sef-to-sef/
                          - Advance redirect : https://extensions.joomla.org/extens...ancedredirect/
                          Bonjour daneel , j'ai installé le plugin NSTS - Non-SEF to SEF, qui à l'air très intéressant pour mon cas.
                          Mise à part l'installer et l'activer, il y a autre choses à faire ?

                          Merci de ton aide.

                          Commentaire


                          • #14
                            Envoyé par nano Voir le message

                            Mise à part l'installer et l'activer, il y a autre choses à faire ?

                            Merci de ton aide.
                            bonjour, non c'est automatique, suffit juste de vérifier que le plugin soit activé.
                            Tu peux eventuellement exclure un composant quand celui-ci n'est pas compatible mais c'est assez rare

                            Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

                            Commentaire


                            • #15
                              Super merci

                              Commentaire

                              Annonce

                              Réduire
                              1 sur 2 < >

                              C'est [Réglé] et on n'en parle plus ?

                              A quoi ça sert ?
                              La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

                              Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

                              Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
                              Comment ajouter la mention [Réglé] à votre discussion ?
                              1 - Aller sur votre discussion et éditer votre premier message :


                              2 - Cliquer sur la liste déroulante Préfixe.

                              3 - Choisir le préfixe [Réglé].


                              4 - Et voilà… votre discussion est désormais identifiée comme réglée.

                              2 sur 2 < >

                              Assistance au forum - Outil de publication d'infos de votre site

                              Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

                              Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

                              Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

                              UTILISER À VOS PROPRES RISQUES :
                              L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

                              Problèmes connus :
                              FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

                              Installation :

                              1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

                              Archive zip : https://github.com/AFUJ/FPA/zipball/master

                              2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

                              3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

                              4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

                              5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

                              6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
                              et remplacer www. votresite .com par votre nom de domaine


                              Exemples:
                              Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/
                              Pour executer le script: http://www..com/fpa-fr.php

                              Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/cms/
                              Pour executer le script: http://www..com/cms/fpa-fr.php

                              En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

                              Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
                              Voir plus
                              Voir moins

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X