Référencement : pages bloquées par robot.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • Référencement : pages bloquées par robot.txt

    Bonjour,

    lors du référencement d'un site, j'ai constaté qu'un grand nombre de page du site étaient annoncées comme innacessible, bloquées par le fichier robot.txt de joomla.

    Comment remédier à ce problème ?

    Merci d'avance.
    Dernière édition par djphil à 30/09/2011, 13h32
    Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

  • #2
    Re : Référencement : pages bloquées par robot.txt

    Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?

    Qu'a tu mis dans ton fichier?

    Commentaire


    • #3
      Re : Référencement : pages bloquées par robot.txt

      Envoyé par djphil Voir le message
      Comment remédier à ce problème ?
      à tout hasard : en modifiant le fichier robot.txt ?
      Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou
      Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
      - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
      - Communauté Joomla Belge sur Facebook

      Commentaire


      • #4
        Re : Référencement : pages bloquées par robot.txt

        Envoyé par georgios Voir le message
        Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?
        Qu'a tu mis dans ton fichier?
        Non, rien avoir avec les visites.
        Voici le robot.txt (c'est celui par defaut je penses ...).
        Code:
        User-agent: *
        Disallow: /administrator/
        Disallow: /cache/
        Disallow: /components/
        Disallow: /images/
        Disallow: /includes/
        Disallow: /installation/
        Disallow: /language/
        Disallow: /libraries/
        Disallow: /media/
        Disallow: /modules/
        Disallow: /plugins/
        Disallow: /templates/
        Disallow: /tmp/
        Disallow: /xmlrpc/
        Envoyé par wworld Voir le message
        à tout hasard : en modifiant le fichier robot.txt ?
        Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou
        Ok, c'est noté pour les options de métadonnées. Je vais essayer de modifier quelques liens comme ça pour voir si ça change quelque chose.
        Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).
        Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

        Commentaire


        • #5
          Re : Référencement : pages bloquées par robot.txt

          Envoyé par djphil Voir le message
          Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).
          Code:
          User-agent: *
          Disallow: /administrator/
          Disallow: /cache/
          Disallow: /components/
          Disallow: /images/
          Disallow: /includes/
          Disallow: /installation/
          Disallow: /language/
          Disallow: /libraries/
          Disallow: /media/
          Disallow: /modules/
          Disallow: /plugins/
          Disallow: /templates/
          Disallow: /tmp/
          Disallow: /xmlrpc/
          En tout cas ici il n'y a rien qui empêche de référencer tes pages sauf avec un URLrewriting qui inclus un dossier noté dans robot.txt dans l'url
          ex: monsite.com/media/mapagemedia.html

          La piste de la configuration de tes liens et articles est à mon sens la meilleur.
          Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
          - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
          - Communauté Joomla Belge sur Facebook

          Commentaire


          • #6
            Re : Référencement : pages bloquées par robot.txt

            N'utilisant pas l'url rewiting sur ce site, il ne peut-être mis en cause. Mes liens sont de type "index.php?option=com_alphacontent", "index.php?option=com_kunena", etc ...

            J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
            (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).
            Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

            Commentaire


            • #7
              Re : Référencement : pages bloquées par robot.txt

              Envoyé par djphil Voir le message
              J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
              (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).
              Et bien tu as la configuration générale ...

              Sinon que dise tes balise meta sur tes pages ... as-tu des balise meta robot?
              Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
              - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
              - Communauté Joomla Belge sur Facebook

              Commentaire


              • #8
                Re : Référencement : pages bloquées par robot.txt

                Elle dit ceci: <meta name="robots" content="index, follow" />
                Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                Commentaire


                • #9
                  Re : Référencement : pages bloquées par robot.txt

                  A moins d'avoir toi même renseigné à Google quel page ne pas référencer (j'ai l'impression que c'est possible dans les outils webmaster de Google)
                  Alors il n'y à pas de raison que Google ne référence pas ces pages si tu as <meta name="robots" content="index, follow" /> et que ton fichier robot.txt est tel que tu nous l'a décrit (à moins d'être black-listé, mais ce serait l'entièreté du site qui ne serait pas référencé)
                  Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                  - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                  - Communauté Joomla Belge sur Facebook

                  Commentaire


                  • #10
                    Re : Référencement : pages bloquées par robot.txt

                    Après vérification, il y a plus de 6000 pages bloquées (Accès restreint par un fichier robots.txt 6 301).
                    Ce qui a pour conséquence aussi de bloquer tous mes liens Sitemaps (status "erreur").

                    J'ai comparé avec un autre site sur le même hébergeur et avec le même robot.txt et là ça ne bloque pas.

                    Je ne comprends pas ce qu'il se passe ...
                    Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                    Commentaire


                    • #11
                      Re : Référencement : pages bloquées par robot.txt

                      Ton fichier robot.txt est ok
                      Toutes tes balises meta robot ont bien "index, follow" comme valeur (content). Pas "no index, no follow" ou "index, no follow". Alors il n'y a aucune raison de ne pas être indexé.

                      Est-ce-que la config de ton htaccess est correcte? (la même sur tes deux hébergement de l'hébergment)

                      Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.
                      Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                      - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                      - Communauté Joomla Belge sur Facebook

                      Commentaire


                      • #12
                        Re : Référencement : pages bloquées par robot.txt

                        C'est bien index follow partout (je viens de vérifier).
                        Dans le .htaccess il n'y a rien sauf php1 (Free) et 3 redirections pour les pages d'erreurs.
                        Et ils sont identiques sur les 2 sites.
                        SEO n'est pas activé.
                        Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                        Commentaire


                        • #13
                          Re : Référencement : pages bloquées par robot.txt

                          Envoyé par wworld Voir le message
                          Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.
                          - L'hébergeur du site en question est Free et ça fonctionnait bien avant.
                          D'ailleurs sur mes autres sites Free, il n'y a pas de problème.

                          - Je n'ai pas encore contacté google.

                          - Sur WebRankinfo, la discusion à ce sujet ne m'a malheureusement pas permi de résoudre le problème.

                          Rappel du problème :

                          site n°1 (Free.fr), pas de problème, y a un petit V vert.


                          site n°2 (Free.fr), y a un problème, y a un petit X rouge.


                          Sur le site n°2, les url de SiteMap txt et xml du composant SefServiceMap sont aussi bloqués.
                          (Le site n° 2 est le site dans ma signature).

                          Comment faire pour avoir aussi des V sur le site n°2 ?
                          (ça fonctionnait, ça ne fonctionne plus).

                          Merci d'avance
                          Dernière édition par djphil à 24/09/2011, 10h40
                          Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                          Commentaire


                          • #14
                            Re : Référencement : pages bloquées par robot.txt

                            Je suis toujours sans solution à ce problème ...

                            Merci d'avance!
                            Visit Digital Concepts - Salles de Chat 3D - DigiGrids @ http://digitalconcepts.free.fr/

                            Commentaire


                            • #15
                              Re : Référencement : pages bloquées par robot.txt

                              Test petites croix ... il s'agit des flux RSS!
                              Artisan du Web - développeur d'application web et de site internet essentiellement avec Joomla www.incode.be
                              - Le sujet est [Réglé] et on n'en parle plus ? Modifier le statut de votre message svp
                              - Communauté Joomla Belge sur Facebook

                              Commentaire

                              Annonce

                              Réduire
                              Aucune annonce pour le moment.

                              Partenaire de l'association

                              Réduire

                              Hébergeur Web PlanetHoster
                              Travaille ...
                              X