Arrêt d'indexation

Réduire
X
 
  • Filtrer
  • Heure
  • Afficher
Tout effacer
nouveaux messages

  • Arrêt d'indexation

    Bonjour à tous,

    Mon site https://philosciences.com n'est plus indexé ni par Google ni par Bing ni par les autres. Erreur 403 en permanence.
    Mon fichier robot.txt est bon et le sitemap est valide. Toutes les pages sont accessibles en direct.

    Je suppose un déni des bots d'indexation par CloudFlare.

    La configuration de politique des IA est la bonne :
    Configurer les politiques de bots IA
    Contrôlez la façon dont différents types de bots IA peuvent accéder à votre site.
    - Recherche : Autoriser
    - Agent : Autoriser
    - Entraînement : Bloquer

    J'ai 5 règles personnalisées qui ne sont pas bloquantes.

    Si quelqu'un sait où chercher, il sera le bienvenu.

    ​

  • #2
    Bonjour,

    Logiquement, les instructions pour les robots IA n'ont pas de raisons de bloquer les robots d'indexation.
    Perso, avec CGsecure je bloque systématiquement tous les robots IA et les bas bots, et je n'ai pas noté de perte d'indexation.
    Pas d'erreur dans la configuration du site ou le robots.txt ?
    "Patience et longueur de temps font plus que force ni que rage..." (La Fontaine : Le Lion et le Rat) - "Il n'y a pas de problèmes; il n'y a que des solutions" (André Gide).
    MoovJla et LazyDbBackup sur www.joomxtensions.com - FaQ sur www.fontanil.robertg-conseil.fr chez PlanetHoster
    - Site pro : www.robertg-conseil.fr et sites perso chez PlanetHoster + sites gérés chez PHPNET/NUXIT, PlanetHoster, Ionos et OVH

    Commentaire


    • #3
      Bonjour,

      Un test sur https://philosciences.com a permis de reproduire un blocage 403 qui semble provenir de Cloudflare.

      Depuis la même connexion, l’accueil, un article, le robots.txt et les deux sitemaps Route66 répondent normalement avec un identifiant de navigateur.
      En revanche, avec un autre identifiant type googlebot, ces mêmes ressources renvoient « 403 Forbidden » et « error code: 1010 ».

      D’après la documentation Cloudflare, le code 1010 correspond à un blocage fondé sur la signature du navigateur.
      Le réglage à examiner en premier est « Browser Integrity Check », ou « Vérification de l’intégrité du navigateur ».

      Cela expliquerait pourquoi le site est accessible aux visiteurs mais refusé à certains outils automatisés. Un robots.txt correct et un sitemap valide ne peuvent pas empêcher un blocage par cette protection.

      Il reste toutefois à confirmer que les erreurs rencontrées par Google et Bing ont la même origine.
      Les tests utilisant leurs identifiants ont obtenu une réponse 200, mais ils ne provenaient pas des véritables adresses IP de ces moteurs.

      ​Le prochain test serait de désactiver temporairement Browser Integrity Check, puis de lancer un test en direct dans l’inspection d’URL de Google Search Console. Il faudrait regarder les événements de sécurité Cloudflare à l’heure du test pour identifier une éventuelle règle de blocage. Si Cloudflare ne signale rien, il faudra examiner les journaux de l’hébergement et les protections Joomla.

      Voici la marche à suivre :
      1. Dans Cloudflare, recherchez “Browser Integrity Check” dans les paramètres de sécurité, puis désactivez-le temporairement pour tester. C’est le premier réglage à examiner au vu du code 1010.
      2. Lancez un test en direct dans l’inspection d’URL de Google Search Console, sur une page signalée en 403.
      3. Consultez les événements de sécurité Cloudflare à l’heure exacte du test. Si la requête est bloquée, identifiez la règle responsable et corrigez-la pour laisser passer les robots vérifiés. Si aucun blocage n’apparaît, examinez aussi les journaux de l’hébergeur et les protections Joomla.
      4. Une fois l’accès rétabli pour Google, demandez une nouvelle indexation. Les réponses 403 persistantes peuvent entraîner le retrait des pages déjà indexées.
      ​Pour l’instant, la piste principale est donc un filtrage de sécurité, plutôt qu’un problème de syntaxe du robots.txt ou du sitemap.
      ​
      Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

      Commentaire


      • #4
        Bonjour et merci Robert et Daneel.

        Le test en direct dans l’inspection d’URL de Google Search Console est positif pour toutes url testées.

        CloudFlare bloque l'accès du site à tous les moteurs de recherche, quelqu'ils soient.
        Lorsque je vais sur l'écran Sécurité avec la liste complète de tous les robots qu'ils soient acceptés (icone en bleu) ou ignorés (icone en gris) je ne peux avoir aucune action de déblocage. L'accès est verrouillé.
        ​
        ​Je vais rechercher “Browser Integrity Check” dans les paramètres de sécurité, puis le désactiver temporairement pour tester. ​

        Je reviens pour dire le résultat.

        Commentaire


        • #5
          L'interface CoudFlare a complètement changée.
          1/ Je ne trouve pas Sécurité > Browser integrity Check.
          2/ Lorsque je vais sur l'écran Sécurité avec la liste complète de tous les robots un message d'alerte apparait : ce robot d'indexation est bloqué par le paramètre de sécurité contrôles des bots IA . Modifiez‑le pour le contrôler dans AI Crawl Control .
          Je ne trouve pas où modifier AI Crawl Control. Dans le menu AI Crawl Control ​il n'y pas d'endroit ou modifier le comportement général et dans les règles de sécurité je n'ai pas de règle "AI Crawl Control".

          Commentaire


          • #6
            Envoyé par pjuignet Voir le message
            L'interface CoudFlare a complètement changée.
            1/ Je ne trouve pas Sécurité > Browser integrity Check.
            .
            Je ne sais pas si cela peut t'aider :

            Joomla User Group (JUG) Lille : https://www.facebook.com/groups/JUGLille/

            Commentaire


            • #7
              Je suis reparti sur la piste d'un réglage général dans CloudFlare empêchant les divers crawler.
              J'ai désactivé "Bot Fight" et mis le régagle "Bot Entrainement" sur Accepté . Cela semble avoir marché.
              J'attends 72 heures pour voir si la réindexation se fait spontanément.

              Si ça ne marche pas, je verrais la piste que tu signales de déactiver BIC.

              Merçi

              Commentaire


              • #8
                Désactiver "Bot Fight" et régler "Bot Entrainement" sur Accepté a réglé la situation. La réindexation est en cours.

                Commentaire

                Annonce

                Réduire
                Aucune annonce pour le moment.

                Partenaire de l'association

                Réduire

                Hébergeur Web PlanetHoster
                Travaille ...
                X