Référencement : pages bloquées par robot.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • Référencement : pages bloquées par robot.txt

    Bonjour,

    lors du référencement d'un site, j'ai constaté qu'un grand nombre de page du site étaient annoncées comme innacessible, bloquées par le fichier robot.txt de joomla.

    Comment remédier à ce problème ?

    Merci d'avance.
    Dernière édition par djphil à 30/09/2011, 13h32
    Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

  • #2
    Re : Référencement : pages bloquées par robot.txt

    Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?

    Qu'a tu mis dans ton fichier?

    Commentaire


    • #3
      Re : Référencement : pages bloquées par robot.txt

      Envoyé par djphil Voir le message
      Comment remédier à ce problème ?
      à tout hasard : en modifiant le fichier robot.txt ?
      Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou
      Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
      - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
      - Communauté Joomla Belge sur Facebook

      Commentaire


      • #4
        Re : Référencement : pages bloquées par robot.txt

        Envoyé par georgios Voir le message
        Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?
        Qu'a tu mis dans ton fichier?
        Non, rien avoir avec les visites.
        Voici le robot.txt (c'est celui par defaut je penses ...).
        Code:
        User-agent: *
        Disallow: /administrator/
        Disallow: /cache/
        Disallow: /components/
        Disallow: /images/
        Disallow: /includes/
        Disallow: /installation/
        Disallow: /language/
        Disallow: /libraries/
        Disallow: /media/
        Disallow: /modules/
        Disallow: /plugins/
        Disallow: /templates/
        Disallow: /tmp/
        Disallow: /xmlrpc/
        Envoyé par wworld Voir le message
        à tout hasard : en modifiant le fichier robot.txt ?
        Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou
        Ok, c'est noté pour les options de métadonnées. Je vais essayer de modifier quelques liens comme ça pour voir si ça change quelque chose.
        Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).
        Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

        Commentaire


        • #5
          Re : Référencement : pages bloquées par robot.txt

          Envoyé par djphil Voir le message
          Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).
          Code:
          User-agent: *
          Disallow: /administrator/
          Disallow: /cache/
          Disallow: /components/
          Disallow: /images/
          Disallow: /includes/
          Disallow: /installation/
          Disallow: /language/
          Disallow: /libraries/
          Disallow: /media/
          Disallow: /modules/
          Disallow: /plugins/
          Disallow: /templates/
          Disallow: /tmp/
          Disallow: /xmlrpc/
          En tout cas ici il n'y a rien qui empêche de référencer tes pages sauf avec un URLrewriting qui inclus un dossier noté dans robot.txt dans l'url
          ex: monsite.com/media/mapagemedia.html

          La piste de la configuration de tes liens et articles est à mon sens la meilleur.
          Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
          - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
          - Communauté Joomla Belge sur Facebook

          Commentaire


          • #6
            Re : Référencement : pages bloquées par robot.txt

            N'utilisant pas l'url rewiting sur ce site, il ne peut-être mis en cause. Mes liens sont de type "index.php?option=com_alphacontent", "index.php?option=com_kunena", etc ...

            J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
            (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).
            Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

            Commentaire


            • #7
              Re : Référencement : pages bloquées par robot.txt

              Envoyé par djphil Voir le message
              J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
              (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).
              Et bien tu as la configuration générale ...

              Sinon que dise tes balise meta sur tes pages ... as-tu des balise meta robot?
              Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
              - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
              - Communauté Joomla Belge sur Facebook

              Commentaire


              • #8
                Re : Référencement : pages bloquées par robot.txt

                Elle dit ceci: <meta name="robots" content="index, follow" />
                Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                Commentaire


                • #9
                  Re : Référencement : pages bloquées par robot.txt

                  A moins d'avoir toi même renseigné à Google quel page ne pas référencer (j'ai l'impression que c'est possible dans les outils webmaster de Google)
                  Alors il n'y à pas de raison que Google ne référence pas ces pages si tu as <meta name="robots" content="index, follow" /> et que ton fichier robot.txt est tel que tu nous l'a décrit (à moins d'être black-listé, mais ce serait l'entièreté du site qui ne serait pas référencé)
                  Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                  - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                  - Communauté Joomla Belge sur Facebook

                  Commentaire


                  • #10
                    Re : Référencement : pages bloquées par robot.txt

                    Après vérification, il y a plus de 6000 pages bloquées (Accès restreint par un fichier robots.txt 6 301).
                    Ce qui a pour conséquence aussi de bloquer tous mes liens Sitemaps (status "erreur").

                    J'ai comparé avec un autre site sur le même hébergeur et avec le même robot.txt et là ça ne bloque pas.

                    Je ne comprends pas ce qu'il se passe ...
                    Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                    Commentaire


                    • #11
                      Re : Référencement : pages bloquées par robot.txt

                      Ton fichier robot.txt est ok
                      Toutes tes balises meta robot ont bien "index, follow" comme valeur (content). Pas "no index, no follow" ou "index, no follow". Alors il n'y a aucune raison de ne pas être indexé.

                      Est-ce-que la config de ton htaccess est correcte? (la même sur tes deux hébergement de l'hébergment)

                      Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.
                      Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                      - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                      - Communauté Joomla Belge sur Facebook

                      Commentaire


                      • #12
                        Re : Référencement : pages bloquées par robot.txt

                        C'est bien index follow partout (je viens de vérifier).
                        Dans le .htaccess il n'y a rien sauf php1 (Free) et 3 redirections pour les pages d'erreurs.
                        Et ils sont identiques sur les 2 sites.
                        SEO n'est pas activé.
                        Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                        Commentaire


                        • #13
                          Re : Référencement : pages bloquées par robot.txt

                          Envoyé par wworld Voir le message
                          Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.
                          - L'hébergeur du site en question est Free et ça fonctionnait bien avant.
                          D'ailleurs sur mes autres sites Free, il n'y a pas de problème.

                          - Je n'ai pas encore contacté google.

                          - Sur WebRankinfo, la discusion à ce sujet ne m'a malheureusement pas permi de résoudre le problème.

                          Rappel du problème :

                          site n°1 (Free.fr), pas de problème, y a un petit V vert.


                          site n°2 (Free.fr), y a un problème, y a un petit X rouge.


                          Sur le site n°2, les url de SiteMap txt et xml du composant SefServiceMap sont aussi bloqués.
                          (Le site n° 2 est le site dans ma signature).

                          Comment faire pour avoir aussi des V sur le site n°2 ?
                          (ça fonctionnait, ça ne fonctionne plus).

                          Merci d'avance
                          Dernière édition par djphil à 24/09/2011, 10h40
                          Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                          Commentaire


                          • #14
                            Re : Référencement : pages bloquées par robot.txt

                            Je suis toujours sans solution à ce problème ...

                            Merci d'avance!
                            Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                            Commentaire


                            • #15
                              Re : Référencement : pages bloquées par robot.txt

                              Test petites croix ... il s'agit des flux RSS!
                              Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                              - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                              - Communauté Joomla Belge sur Facebook

                              Commentaire

                              Annonce

                              Réduire
                              1 sur 2 < >

                              C'est [Réglé] et on n'en parle plus ?

                              A quoi ça sert ?
                              La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

                              Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

                              Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
                              Comment ajouter la mention [Réglé] à votre discussion ?
                              1 - Aller sur votre discussion et éditer votre premier message :


                              2 - Cliquer sur la liste déroulante Préfixe.

                              3 - Choisir le préfixe [Réglé].


                              4 - Et voilà… votre discussion est désormais identifiée comme réglée.

                              2 sur 2 < >

                              Assistance au forum - Outil de publication d'infos de votre site

                              Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

                              Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

                              Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

                              UTILISER À VOS PROPRES RISQUES :
                              L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

                              Problèmes connus :
                              FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

                              Installation :

                              1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

                              Archive zip : https://github.com/AFUJ/FPA/zipball/master

                              2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

                              3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

                              4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

                              5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

                              6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
                              et remplacer www. votresite .com par votre nom de domaine


                              Exemples:
                              Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/
                              Pour executer le script: http://www..com/fpa-fr.php

                              Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
                              Télécharger le script fpa-fr.php dans: /public_html/cms/
                              Pour executer le script: http://www..com/cms/fpa-fr.php

                              En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

                              Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
                              Voir plus
                              Voir moins

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X