Fichier robots.txt incorrect

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • lendrevi
    a répondu
    Ce disallow sur la page 404 est placé ici parce que j’ai pris le parti de gérer de telles erreurs directement depuis le template (cf. error.php avec une surcharge). J’obtiens ainsi une gestion moins brutale et plus conviviale pour l’utilisateur.
    Mais en fait, je n’en ai peut-être pas besoin pour autant. Je vais tester.
    J’apprécie beaucoup tes conseils éclairés et fort bien explicités. Encore merci et bon week-end à toi.

    ps: tu peux tester ma gestion des pages 404 en utilisant une adresse erronée telle que :
    https://www.rendez-vous-medecine.com/xxx
    Je pense que la page d'erreur que j'affiche au client est plus agréable que la norme. En outre, je lui permets de s'en sortir proprement (ex: retour à la page d'accueil), et d'informer l'administrateur (ce qui peut être bien utile pour entretenir le site).
    Dernière édition par lendrevi à 21/09/2019, 05h21

    Laisser un commentaire:


  • daneel
    a répondu
    Envoyé par lendrevi Voir le message
    Merci beaucoup Daneel. Je vais essayer d’appliquer ces conseils. J’avoue être un tantinet découragé devant tant de complications cumulées.
    Oui je comprends, parfois je déprime sur le travail à accomplir et le manque de temps (certains clients ne comprennent pas forcément la nécessité de travailler sur ces "détails"). J'ai bon espoir que les indications et l'aide que l'on donne sur ce forum peuvent encore servir

    J'ai tout de même une petite question sur le disalow sur la page 404. Je ne comprends pas de bloquer l'indexation sachant que l'on gère différemment les erreurs 404. L'indication dans le fichier robots.txt ne fait que bloquer l'accès au contenu de l'url vers nomdetonsite.fr/page-404 , c'est comme bloquer une autre page comme la page d’identification ou d'enregistrement ou une page quelconque. Sauf pour une raison précise, je te conseille de ne pas conserver cette ligne qui ne fait pas partie du modèle de fichiers robots proposés par Joomla.

    Le principe de gestion des erreurs 404, c'est la redirection : on peut rediriger une url tombant en erreur vers la nouvelle url si on a corrigé par exemple l'alias alors que la page est déjà publiée et indexé par le moteur de recherche. Cela peut se faire par l'écriture de la redirection dans le fichier htaccess ou plus facilement depuis le composant de redirection. Enfin, la solution radicale dans le cas d'un changement de cms ou de site, c'est de rediriger toutes les erreurs 404 sur la page d'accueil (on peut également le faire via le fichier htaccess).... C'est brutal mais très mauvais pour le référencement car on perd tout le bénéfice des années précédentes et on repart à zéro (peut être pire si aucun travail sur le SEO).

    Dernière édition par daneel à 20/09/2019, 18h43

    Laisser un commentaire:


  • lendrevi
    a répondu
    Merci beaucoup Daneel. Je vais essayer d’appliquer ces conseils. J’avoue être un tantinet découragé devant tant de complications cumulées.

    Laisser un commentaire:


  • daneel
    a répondu
    Bonjour,

    Quelques conseils... : Laisser le fichier robots.txt d'origine

    1. Evitez d'ajouter des "allow"....
    Utilisez à la place, jch optimize ou une extension équivalente (il existe des plugins gratuits sur la JED) pour eviter d'avoir à charger des fichiers js et css dans les modules.
    Cela permet de corriger ce gros problème d'optimisation lié à ces extensions. En effet, le repertoire modules doit rester en disallow pour ne pas être indexé, les fichiers javascript et css
    sont dans media qui est autorisé à l'indexation par défaut. Il vaut mieux eviter d'indiquer l'usage d'une extension ou autre pour des raisons de sécurité.

    Le but de JCH, c'est à la fois de lier les fichiers ensemble pour un chargement plus rapide mais aussi de stocker dans un sous-repertoire de media (media/plg_jchoptimize/cache).
    Les liens d'origine sont simplement interceptés et désactivés (sans toucher au code des extensions) et remplacés par les liens de ces fichiers "optimisés" js et css.

    2. Redirigez l'url du plan de site
    Comme indiqué par Simon Kloostra, un spécialiste SEO sous Joomla qui conseille de rediriger le lien osmap (ou autre extension sitemap) à la racine.
    Pour cela, il suffit d'ajouter la ligne suivante dans le htaccess
    RewriteRule ^sitemap.xml$ index.php?option=com_osmap&view=xml&tmpl=component &id=1 [L]

    Source (en français) : https://alphadesign.fr/joomla/checkl...temap-xml.html

    Laisser un commentaire:


  • lendrevi
    a répondu
    Une horreur !
    J'ai apporté les modifs suivantes :
    1. dans robots.txt, j'ai bien placé les commandes "disallow" après les "allows",
    2. pour les erreurs 500, ne trouvant pas la raison en analysant mon .htaccess : je l'ai effacé, remis un fichier standard, réinstallé aesecure

    Et quand j'analyse mon site :
    1. on me dit que mon fichier robots.txt est incorrect, avec le message :
    Code:
      L'utilisation du masquage est une infraction aux recommandations de Google puisque l'usager ne reçoit pas de résultats attendus.
    
    Sur votre site vous avez le contenu avec lesquels les systèmes de recherche peuvent avoir de problèmes (JavaScript, les images, Flash etc), lisez les recommandations de Google.
      Nous vérifions votre page avec Googlebot. Le nombre de tous les liens doit être le même pour tous les agents des utilisateurs.
    2. j'ai toujours les mêmes code 500 pour toutes les urls du site !

    J'avoue ne pas comprendre.
    Dernière édition par lendrevi à 20/09/2019, 18h16

    Laisser un commentaire:


  • RobertG
    a répondu
    Ta dernière ligne n'a à mon avis pas de raison d'être, puisque c'est une adresse, qui, si elle est fonctionnelle sur le site, n'a pas de raison d'être bloquée par défaut (et donc à autoriser) par ce fichier robots.txt

    Les erreurs 500 sont a priori provoquées par des instructions dans le fichier .htaccess : il faudrait vérifier de nouveau après ab=voir désactivé ce fichier (ou utilisé les instructions de celui par défaut).

    Laisser un commentaire:


  • lendrevi
    a répondu
    Envoyé par RobertG Voir le message
    Bonjour,

    Tout ce qui est "allow" doit précéder "disallow".
    Pour le plan de se site, il est à mon avis plus simple de mettre l'adresse du plan XML, sous forme "Sitemap: https://mon_adresse_de_plan.xml"
    Bonjour RobertG,

    1. ok pour l'ordre,
    2. pour mon sitemap, c'est mon ordre n°1, en tête du fichier robots.txt. Mais dans la dernière ligne, c'est l'url d'affichage du "plan de site" en mode texte sur le site.

    Et cerise sur le gâteau, je découvre ce matin que l'analyse de tous mes "liens intérieurs" débouche sur un code 500 !
    Ce ne serait pas un problème propre au serveur ?

    Laisser un commentaire:


  • RobertG
    a répondu
    Bonjour,

    Tout ce qui est "allow" doit précéder "disallow".
    Pour le plan de se site, il est à mon avis plus simple de mettre l'adresse du plan XML, sous forme "Sitemap: https://mon_adresse_de_plan.xml"

    Laisser un commentaire:


  • lendrevi
    a crée un sujet [Problème] Fichier robots.txt incorrect

    Fichier robots.txt incorrect

    Mon environnement : J 3.9.11

    Bonjour,

    Qui pourrait me dire pourquoi Google me dit que mon fichier "robots.txt" est incorrect, prétextant que tout le monde doit pouvoir tout voir ?

    Code:
    Sitemap : https://www.url de mon site/sitemap.xml
    User-agent: *
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /component/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /tmp/
    Disallow: /page-404
    Allow: /modules/mod_popupaholic/js/jquery-cookie.min.js
    Allow: /modules/mod_popupaholic/js/jquery.gafancybox-media.min.js
    Allow: /modules/mod_popupaholic/js/jquery.gafancybox.min.js
    Allow: /modules/mod_popupaholic/js/jquery.popup.js
    Allow: /modules/mod_popupaholic/js/popper.js
    Allow: /modules/mod_s5_tellafriend/tmpl/tellafriendpopup.php?ml=1&iframe=1
    Allow: /component/osmap/?view=html&id=2
    Avec mes remerciements.

Annonce

Réduire
1 sur 2 < >

C'est [Réglé] et on n'en parle plus ?

A quoi ça sert ?
La mention [Réglé] permet aux visiteurs d'identifier rapidement les messages qui ont trouvé une solution.

Merci donc d'utiliser cette fonctionnalité afin de faciliter la navigation et la recherche d'informations de tous sur le forum.

Si vous deviez oublier de porter cette mention, nous nous permettrons de le faire à votre place... mais seulement une fois
Comment ajouter la mention [Réglé] à votre discussion ?
1 - Aller sur votre discussion et éditer votre premier message :


2 - Cliquer sur la liste déroulante Préfixe.

3 - Choisir le préfixe [Réglé].


4 - Et voilà… votre discussion est désormais identifiée comme réglée.

2 sur 2 < >

Assistance au forum - Outil de publication d'infos de votre site

Compatibilité: PHP 4.1,PHP4, 5, 6DEV MySQL 3.2 - 5.5 MySQLi from 4.1 ( @ >=PHP 4.4.9)

Support Version de Joomla! : | J!3.0 | J!2.5.xx | J!1.7.xx | J!1.6.xx | J1.5.xx | J!1.0.xx |

Version française (FR) D'autres versions sont disponibles depuis la version originale de FPA

UTILISER À VOS PROPRES RISQUES :
L'exactitude et l'exhaustivité de ce script ainsi que la documentation ne sont pas garanties et aucune responsabilité ne sera acceptée pour tout dommage, questions ou confusion provoquée par l'utilisation de ce script.

Problèmes connus :
FPA n'est actuellement pas compatible avec des sites Joomla qui ont eu leur fichier configuration.php déplacé en dehors du répertoire public_html.

Installation :

1. Téléchargez l'archive souhaitée : http://afuj.github.io/FPA/

Archive zip : https://github.com/AFUJ/FPA/zipball/master

2. Décompressez le fichier de package téléchargé sur votre propre ordinateur (à l'aide de WinZip ou d'un outil de décompression natif).

3. Lisez le fichier LISEZMOI inclus pour toutes les notes de versions spécifiques.

4. LIRE le fichier de documentation inclus pour obtenir des instructions d'utilisation détaillées.

5. Téléchargez le script fpa-fr.php à la racine de votre site Joomla!. C'est l'endroit que vous avez installé Joomla et ce n'est pas la racine principale de votre serveur. Voir les exemples ci-dessous.

6. Exécutez le script via votre navigateur en tapant: http:// www. votresite .com/ fpa-fr.php
et remplacer www. votresite .com par votre nom de domaine


Exemples:
Joomla! est installé dans votre répertoire web et vous avez installé la version française du fichier FPA:
Télécharger le script fpa-fr.php dans: /public_html/
Pour executer le script: http://www..com/fpa-fr.php

Joomla! est installé dans un sous-répertoire nommé "cms" et vous avez installé la version française du fichier FPA:
Télécharger le script fpa-fr.php dans: /public_html/cms/
Pour executer le script: http://www..com/cms/fpa-fr.php

En raison de la nature très sensible de l'information affichée par le script FPA, il doit être retiré immédiatement du serveur après son utilisation.

Pour supprimer le script de votre site, utilisez le lien de script de suppression fourni en haut de la page du script. Si le lien de suppression échoue pour supprimer le script, utilisez votre programme FTP pour le supprimer manuellement ou changer le nom une fois que le script a généré les données du site et le message publié sur le forum. Si le script est toujours présent sur le site, il peut être utilisé pour recueillir suffisamment d'informations pour pirater votre site. Le retrait du script empêche des étrangers de l'utiliser pour jeter un oeil à la façon dont votre site est structuré et de détecter les défauts qui peuvent être utilisé à vos dépends.
Voir plus
Voir moins

Partenaire de l'association

Réduire

Hébergeur Web PlanetHoster
Travaille ...
X