Référencement : pages bloquées par robot.txt

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • richo
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Bonjour,

    je pense avoir le meme probleme, mais je n'ai pas de plugin sentinelle installé sur mon joomla.

    Avez vous une idee d'ou peut venir mon blocage ?

    validation w3C

    il n'y a pourtant pas d'erreur sur ma page

    et mon fichier robots.txt me parait correct

    Code:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /SITES/

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Le bloquage automatique des IP du plugin Sentinelle est la cause de ce "soie disant" problème de pages bloquées par robots.txt

    LA solution : Effacer le(s) IP(s) dans la configuration du plugin Sentinelle.
    (facultatif : ne pas activer le blocage automatique des IPs).

    Eureka!

    Merci à tous d'avoir essayé de m'aider

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Des RSS oui (composant alphacontent ou com_content) et aussi du site map (composant SefServiceMap) en xml ou en txt.

    Laisser un commentaire:


  • wworld
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Test petites croix ... il s'agit des flux RSS!

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Je suis toujours sans solution à ce problème ...

    Merci d'avance!

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Envoyé par wworld Voir le message
    Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.
    - L'hébergeur du site en question est Free et ça fonctionnait bien avant.
    D'ailleurs sur mes autres sites Free, il n'y a pas de problème.

    - Je n'ai pas encore contacté google.

    - Sur WebRankinfo, la discusion à ce sujet ne m'a malheureusement pas permi de résoudre le problème.

    Rappel du problème :

    site n°1 (Free.fr), pas de problème, y a un petit V vert.


    site n°2 (Free.fr), y a un problème, y a un petit X rouge.


    Sur le site n°2, les url de SiteMap txt et xml du composant SefServiceMap sont aussi bloqués.
    (Le site n° 2 est le site dans ma signature).

    Comment faire pour avoir aussi des V sur le site n°2 ?
    (ça fonctionnait, ça ne fonctionne plus).

    Merci d'avance
    Dernière édition par djphil à 24/09/2011, 10h40

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    C'est bien index follow partout (je viens de vérifier).
    Dans le .htaccess il n'y a rien sauf php1 (Free) et 3 redirections pour les pages d'erreurs.
    Et ils sont identiques sur les 2 sites.
    SEO n'est pas activé.

    Laisser un commentaire:


  • wworld
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Ton fichier robot.txt est ok
    Toutes tes balises meta robot ont bien "index, follow" comme valeur (content). Pas "no index, no follow" ou "index, no follow". Alors il n'y a aucune raison de ne pas être indexé.

    Est-ce-que la config de ton htaccess est correcte? (la même sur tes deux hébergement de l'hébergment)

    Je te suggère de contacter google, ton hébergeur ou de poser la question sur le forum de webrankinfo où tu trouvera plus facilement quelqu'un susceptible de trouver l'erreur qui à mon avis est plus de l'ordre du SEO que de joomla.

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Après vérification, il y a plus de 6000 pages bloquées (Accès restreint par un fichier robots.txt 6 301).
    Ce qui a pour conséquence aussi de bloquer tous mes liens Sitemaps (status "erreur").

    J'ai comparé avec un autre site sur le même hébergeur et avec le même robot.txt et là ça ne bloque pas.

    Je ne comprends pas ce qu'il se passe ...

    Laisser un commentaire:


  • wworld
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    A moins d'avoir toi même renseigné à Google quel page ne pas référencer (j'ai l'impression que c'est possible dans les outils webmaster de Google)
    Alors il n'y à pas de raison que Google ne référence pas ces pages si tu as <meta name="robots" content="index, follow" /> et que ton fichier robot.txt est tel que tu nous l'a décrit (à moins d'être black-listé, mais ce serait l'entièreté du site qui ne serait pas référencé)

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Elle dit ceci: <meta name="robots" content="index, follow" />

    Laisser un commentaire:


  • wworld
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Envoyé par djphil Voir le message
    J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
    (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).
    Et bien tu as la configuration générale ...

    Sinon que dise tes balise meta sur tes pages ... as-tu des balise meta robot?

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    N'utilisant pas l'url rewiting sur ce site, il ne peut-être mis en cause. Mes liens sont de type "index.php?option=com_alphacontent", "index.php?option=com_kunena", etc ...

    J'ai bien noté la piste des liens et articles mais j'aimerais résoudre le problème de façon général et non pas au cas par cas.
    (Imaginons un site avec 10000 articles à régler un par un, c'est pas faisable).

    Laisser un commentaire:


  • wworld
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Envoyé par djphil Voir le message
    Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).
    Code:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    En tout cas ici il n'y a rien qui empêche de référencer tes pages sauf avec un URLrewriting qui inclus un dossier noté dans robot.txt dans l'url
    ex: monsite.com/media/mapagemedia.html

    La piste de la configuration de tes liens et articles est à mon sens la meilleur.

    Laisser un commentaire:


  • djphil
    a répondu
    Re : Référencement : pages bloquées par robot.txt

    Envoyé par georgios Voir le message
    Pour rebondir sur tes 2 autres posts proches du sujet expliques tu par là que les visites qu'il te manque sur ton site sont celles de robots?
    Qu'a tu mis dans ton fichier?
    Non, rien avoir avec les visites.
    Voici le robot.txt (c'est celui par defaut je penses ...).
    Code:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Envoyé par wworld Voir le message
    à tout hasard : en modifiant le fichier robot.txt ?
    Sinon dans la configuration de tes liens et article sous "Options des Métadonnées" modifi la valeur de robot.txt. Aussi plus rapidement dans les paramètres généraux des articles itou
    Ok, c'est noté pour les options de métadonnées. Je vais essayer de modifier quelques liens comme ça pour voir si ça change quelque chose.
    Sinon, j'aurais bien aimé agir directement sur le fichier concerné (robot.txt).

    Laisser un commentaire:

Annonce

Réduire
1 sur 2 < >

C'est [Réglé] et on n'en parle plus ?

A quoi ça sert ?
La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
Comment ajouter la mention [Réglé] à votre discussion ?
1 - Aller sur votre discussion et éditer votre premier message :


2 - Cliquer sur la liste déroulante Préfixe.

3 - Choisir le préfixe [Réglé].


4 - Et voilà… votre discussion est désormais identifiée comme réglée.

2 sur 2 < >

Assistance au forum - Outil de publication d'infos de votre site

Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

UTILISER À VOS PROPRES RISQUES :
L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

Problèmes connus :
FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

Installation :

1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

Archive zip : https://github.com/AFUJ/FPA/zipball/master

2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
et remplacer www. votresite .com par votre nom de domaine


Exemples:
Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
Télécharger le script fpa-fr.php dans: /public_html/
Pour executer le script: http://www..com/fpa-fr.php

Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
Télécharger le script fpa-fr.php dans: /public_html/cms/
Pour executer le script: http://www..com/cms/fpa-fr.php

En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
Voir plus
Voir moins

Partenaire de l'association

Réduire

Hébergeur Web PlanetHoster
Travaille ...
X