[Problème] Forte augmentation des pages introuvables

[Zwitefli]

Bonjour à tous,
Depuis le 5 février, sur notre console Webmaster Tools, nous avons constaté une énorme hausse du nombre d'erreurs du serveurs et de pages introuvables, alors que nous n'avons eu aucun changement dans nos menus, composants... en dehors des mises à jour de Joomla.
Sur les pages introuvables, ce sont des erreurs 500 liées au composant Monthly Archive, que nous utilisons : on se retrouve avec des URL du type
Url problématique
alors que les URL habituelles sont plutôt comme celles-ci :
URL Correcte
Y a-t-il un moyen de rediriger ces URL vers les bonnes URL ou d'indiquer à Webmaster Tools d'arrêter de les suivre ?

Quant aux pages introuvables, ce sont de très vieilles URL, venant d'une époque où l'ancien président avait créé deux menus pour accéder aux mêmes articles : on s'est retrouvé donc avec deux URL pour un même article pendant quelques semaines jusqu'à ce qu'il supprime ce 2e menu, créant pas mal de pages d'erreur... Elles n'étaient plus présentes dans Webmaster Tools, mais font un retour en force ces derniers temps... Est-il possible de rediriger en masse ces URL obsolètes vers les bonnes URL ?

Pour info, notre site tourne sous la dernière version de Joomla, avec un serveur sous Nginx, PHP 7.1, MariaDB

Edit: dans les statistiques d'exploration, je remarque aussi une très forte hausse des pages explorées par jour, passant de 4000 environ à 50000 depuis le 06/02...

[Zwitefli]

Peut-être que ma question et mon problème seraient mieux placés dans le sujet "Référencement et SEO"... non ?

[Zwitefli]

Je me réponds et aimerais un avis sur une potentielle solution trouvée.
Dans le robots.txt, j'ai ajouté les lignes suivantes :
Disallow: /*/monthlyarchive/*
Noindex: /*/monthlyarchive/*
Disallow: /rc-lens-mercato-transferts/
Noindex: /rc-lens-mercato-transferts/

Est-ce une bonne idée ou pas ? J'attends le retour de membres plus expérimentées.

[Zwitefli]

Personne ne m'aime ou peut m'aider ?

[jfque]

Dans la search console, vous pouvez tester si des pages sont bloquées par le fichier robots.txt. Testez quelques unes des erreurs rapportées dans cet outil et si elles sont bien bloquées, alors c'est la cause de votre problème.

[manu93fr]

Bonsoir,
Monthly Archive etant une extension commerciale, il faudrait leur poser la question
Ceci dit ... il est bizarre ton fichier robots.txt .. non ? Tu l'as testé dans la search console ? Parce que les astérisques dans tous les sens et les noindex .... je suis perplexe
voir les liens :
- http://robots-txt.com/
- https://www.abondance.com/actualites...obots-txt.html
- https://docs.abondance.com/robots.html
- https://www.youtube.com/watch?v=2V44ttqDbLM

[Zwitefli]

J'ai ajouté ces lignes hier soir. En utilisant des URL problématiques, j'ai vu qu'elles étaient désormais bloquées.

Pour les astérisques, je vais les supprimer

Merci pour votre retour, j'espère que ça portera ses fruits.

[manu93fr]

tu as un outils de test DANS la serarch console ... sert toi en

[Zwitefli]

Je teste justement dans cet outil. J'ai retiré les * mais là, les URL ne sont plus bloquées... Je vais laisser les * avant monthlyarchive (que j'ai contacté aussi) car ça bloque, dans ce cas. Espérons que ça permette à Google de ne plus indexer ces pages et ces URL.
Merci encore

[manu93fr]

Espérons que ça permette à Google de ne plus indexer ces pages et ces URL

nuance !!! Le fichier robots.txt interdit le scroll (la lecture du code de la page) ... pas l'indexation

Auche chose, plus ton fichier est volumineux et compliqué, et plus il y a risque de source d'erreur ... et si les robots n'y comprennent plus rien, là c'est la cata !!!
Perso, je ne suis pas pour mettre des allow , et encore moi de les mettre au ptit bonheur la chance ...

[Zwitefli]

nuance !!! Le fichier robots.txt interdit le scroll (la lecture du code de la page) ... pas l'indexation

Auche chose, plus ton fichier est volumineux et compliqué, et plus il y a risque de source d'erreur ... et si les robots n'y comprennent plus rien, là c'est la cata !!!
Perso, je ne suis pas pour mettre des allow , et encore moi de les mettre au ptit bonheur la chance ...

D'accord, je n'avais pas compris cette nuance... Comment faire alors pour éviter de les indexer ?

Là, je ne comprends pas comment, en quelques jours et sans aucun changement sur le site, on passe de 2000 à 90 000 pages introuvables dans Webmaster Tools... et que les URL concernées renvoient vers de très vieux articles en général...

[manu93fr]

Comment faire alors pour éviter de les indexer ?

Si elles sont deja indexées, tu fais une demande de suppression dans la search console ... evidemment, si tu en as 90000 a faire, ça va etre compliqué !
Il faut aussi regarder la meta noindex nofollow dans les articles, les liens de menu ou ton composant (que je ne connais pas)

on passe de 2000 à 90 000 pages introuvables dans Webmaster Tools

- une nouvelle règle du moteur de recherche ?
- un fichier robots.txt mal compris ?
- une attaque ?

il te faudra analyser finement les urls 404 dans la console

[Zwitefli]

Le serveur est clean et CloudFlare n'a rien signalé. Mais notre infogérant va y regarder cette semaine.
Le robots.txt n'avait pas été modifié.
Je sèche complètement malheureusement : dans les 1000 URL visibles, ce sont de vieilles URL datant de 2013 pour la plupart... Je verrai notre infogérant pour faire des redirections vers les bonnes URL et si c'est possible.