Référencement : pages bloquées par robot.txt

[djphil]

Bonjour,

lors du référencement d'un site, j'ai constaté qu'un grand nombre de page du site étaient annoncées comme innacessible, bloquées par le fichier robot.txt de joomla.

Comment remédier à ce problème ?

Merci d'avance.

[georgios]

Re : Référencement : pages bloquées par robot.txt

Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?

Qu'a tu mis dans ton fichier?

[wworld]

Re : Référencement : pages bloquées par robot.txt

Comment remédier à ce problème ?

à tout hasard : en modifiant le fichier robot.txt ?
Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou

[djphil]

Re : Référencement : pages bloquées par robot.txt

Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?
Qu'a tu mis dans ton fichier?

Non, rien avoir avec les visites.
Voici le robot.txt (c'est celui par defaut je penses ...).

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

à tout hasard : en modifiant le fichier robot.txt ?
Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou

Ok, c'est noté pour les options de métadonnées. Je vais essayer de modifier quelques liens comme ça pour voir si ça change quelque chose.
Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).

[wworld]

Re : Référencement : pages bloquées par robot.txt

Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

En tout cas ici il n'y a rien qui empêche de référencer tes pages sauf avec un URLrewriting qui inclus un dossier noté dans robot.txt dans l'url
ex: monsite.com/media/mapagemedia.html

La piste de la configuration de tes liens et articles est à mon sens la meilleur.

[djphil]

Re : Référencement : pages bloquées par robot.txt

N'utilisant pas l'url rewiting sur ce site, il ne peut-être mis en cause. Mes liens sont de type "index.php?option=com_alphacontent", "index.php?option=com_kunena", etc ...

J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
(Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).

[wworld]

Re : Référencement : pages bloquées par robot.txt

J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
(Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).

Et bien tu as la configuration générale ...

Sinon que dise tes balise meta sur tes pages ... as-tu des balise meta robot?

[djphil]

Re : Référencement : pages bloquées par robot.txt

Elle dit ceci: <meta name="robots" content="index, follow" />

[wworld]

Re : Référencement : pages bloquées par robot.txt

A moins d'avoir toi même renseigné à Google quel page ne pas référencer (j'ai l'impression que c'est possible dans les outils webmaster de Google)
Alors il n'y à pas de raison que Google ne référence pas ces pages si tu as <meta name="robots" content="index, follow" /> et que ton fichier robot.txt est tel que tu nous l'a décrit (à moins d'être black-listé, mais ce serait l'entièreté du site qui ne serait pas référencé)

[djphil]

Re : Référencement : pages bloquées par robot.txt

Après vérification, il y a plus de 6000 pages bloquées (Accès restreint par un fichier robots.txt 6 301).
Ce qui a pour conséquence aussi de bloquer tous mes liens Sitemaps (status "erreur").

J'ai comparé avec un autre site sur le même hébergeur et avec le même robot.txt et là ça ne bloque pas.

Je ne comprends pas ce qu'il se passe ...

[wworld]

Re : Référencement : pages bloquées par robot.txt

Ton fichier robot.txt est ok
Toutes tes balises meta robot ont bien "index, follow" comme valeur (content). Pas "no index, no follow" ou "index, no follow". Alors il n'y a aucune raison de ne pas être indexé.

Est-ce-que la config de ton htaccess est correcte? (la même sur tes deux hébergement de l'hébergment)

Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.

[djphil]

Re : Référencement : pages bloquées par robot.txt

C'est bien index follow partout (je viens de vérifier).
Dans le .htaccess il n'y a rien sauf php1 (Free) et 3 redirections pour les pages d'erreurs.
Et ils sont identiques sur les 2 sites.
SEO n'est pas activé.

[djphil]

Re : Référencement : pages bloquées par robot.txt

Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.

- L'hébergeur du site en question est Free et ça fonctionnait bien avant.
D'ailleurs sur mes autres sites Free, il n'y a pas de problème.

- Je n'ai pas encore contacté google.

- Sur WebRankinfo, la discusion à ce sujet ne m'a malheureusement pas permi de résoudre le problème.

Rappel du problème :

site n°1 (Free.fr), pas de problème, y a un petit V vert.


site n°2 (Free.fr), y a un problème, y a un petit X rouge.


Sur le site n°2, les url de SiteMap txt et xml du composant SefServiceMap sont aussi bloqués.
(Le site n° 2 est le site dans ma signature).

Comment faire pour avoir aussi des V sur le site n°2 ?
(ça fonctionnait, ça ne fonctionne plus).

Merci d'avance

[djphil]

Re : Référencement : pages bloquées par robot.txt

Je suis toujours sans solution à ce problème ...

Merci d'avance!

[wworld]

Re : Référencement : pages bloquées par robot.txt

Test petites croix ... il s'agit des flux RSS!