[Problème] Plug-in de redirection : des milliers de liens chaque semaine

[dav_cbr]

Bonjour à tous !

depuis que je suis passé en joomla 2.5, j'ai un soucis avec le plug-in de redirection...

Quand je clique dessus, j'ai plus de 2.000 liens avec erreurs 404 qui apparaissent... chaque semaine !
Je précise que mon site est mis à jour tous les jours et que je n'ai aucun lien mort (ou alors très très peu).

En fait, ces erreurs 404 sont, pour la majorité, relatives à d'anciens articles que j'ai supprimé (mon site est très vivant) mais aussi d'autres choses bien plus bizarres comme :

index.php/component/content/article/9-non-categorise//administrator/components/com_civicrm/civicrm/packages/OpenFlashChart/tmp-upload-images/lobex21.php?rf

ou encore

index.php/component/content/article/9-non-categorise/modules/mod_ppc_fastfont/img/20grad.png

Que faire ?
Faut-il désactiver le plug-in de redirection ?
Cela provient-il du fait que tous mes articles commencent par index.php/.......... ?

NB : pour info, je supprime chaque semaine ces milliers d'URL obsolètes dans le plub-in, afin de ne pas faire trop grossir la base de données... Est-ce une erreur ?

Merci d'avance pour votre aide (j'en ai besoin)

David

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour,

Probablement parce que tu es crawlé par des moteurs qui ne respectent pas les règles où qui essaient de trouver des failles en générant des liens au hasard (pas si au hasard que ça d'ailleurs) il faut donc te protéger en bétonnant ton .htaccess. Si tu mets en place soit le dernier outil de Cavo789 (aasecure), soit crawlprotect, soit tu gères toi même à la main en t'appuyant sur des tas d'informations déjà existantes un peu aprtout.
En vrac tu as :

http://www.crawltrack.fr/crawlprotect/
http://www.seulmaitreabord.info/refe...ent-votre-site
http://aesecure.com/fr

Après il t'en restera surement encore un peu forcément, moi j'en ai 2 ou 3 les bons jours, une dizaine les mauvais, reste ensuite à examiner les logs pour comprendre d'où viennent ces indésirables et si on peut s'en protéger

Bon courage

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

ouh la la, ça me fait peur ce que tu écrit...
je vais regarder tes liens et voir ce que je peux faire...
merci pour ta réponse

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Le premier et le dernier des liens font le boulot tout seul donc pas de panique, il n'y a que le deuxième qui te demandes un peu (beaucoup) de travail, mais tu peux aussi te contenter de recopier les exemples proposés ca va déjà te faire du ménage sévère !

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Voilà,
j'ai installé avec succès crawlprotect il y a une semaine et dispose donc d'un peu de recul...
Malheureusement, le problème subsiste.

J'ai toujours des centaines de sois-disant "url obsolètes" chaque jour, du genre :

http://aliasdemonsite.p5alias.domicile.fr/index.php/menu-1/images/stories/documents/publications/ecole_danse.pdf

ou encore

http://adressedemonsite.fr/index.php/menu-reglement/9-non-categorise/558-art-nom_article

Que faire ? Faut-il installer en plus aesecure ? OU séparément ?
Désactiver le pug-in de redirection ?

ça commence à m'inquiéter cette histoire...

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour

Les deux outils font à peu près la même chose, donc je ne crois pas qu'il y ait vraiment de miracles à attendre de l'un si l'autre n'a pas déjà amélioré les choses.
Donc reprenons tranquillement et raisonnons.

Première chose à faire, prendre les liens qui te sont signalés et les tester dans un navigateur juste pour dire de vérifier qu'il y a bien une erreur 404 derrière tout ça. Ensuite de deux choses l'une ou cette url devrait exister sous une autre forme, je veux dire si elle pointe sur un article ou un document qui existe bien dans ton site mais à travers une autre url, il faut rediriger l'url fautive (pour résoudre le problème) et essayer de comprendre la règle générale derrière tout ça (Je vois dans ton exemple ci dessus qu'il y a un index.php dans ton url. si tu as activé le SEF récemment cette même url est en erreur 404 et son équivalent SEF pointe bien vers le bon article, mais l'url d'avant est en erreur. Tu comprends ce que je veux dire ?)

Deuxième cas de figure. Les url qui sont dans la liste sont totalement 'bidons' et tu ne vois pas de quoi il s'agit, alors effectivement crawlprotect, aesecure etc pourront faire quelque chose pour toi.

Peux tu fournir une url réelle vers ton site, qu'on essaie de voir plus clair dans cette histoire ainsi que deux ou trois url sorties en erreur dans le module de redirection ?

[manu93fr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour,

comme te le dit notre ami Piece...
tu as 2 genres d'adresse dans ce composant de redirection :
- des Urls qui ont "existées" et qui ne le sont plus (supprimées par exemple) Là, il faut les rediriger vers une Url valide la plus proche
- des Urls "bidons" ... et là ce serait plutôt du crawl d'url pour tenter de trouver des failles ... et là crawlprotect peut les dejouer, Pour ça tu vas dans ton administration de Crawlprotect et tu identifies les adresse IP (bad) qui crawl ton site et tu les interdit ... au prochain scanne, elles seront "ejectées" avant d'afficher une Url de ton site

Vide le composant de redirection après avoir inderdit certaines IP pour voir le resultat ensuite

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour et merci pour votre aide...

pour moi, toutes les URL sont bidons... ou presque !

Par contre, je n'avais pas percuté qu'il fallait bloquer les bad IP dans crawlprotect... je pensais que tout se faisait automatiquement.
Je vais faire ça et vous tiens au courant dans quelques jours...

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Normalement avec crawlProtect les bad IP c'est secondaire, la simple demande de bloquer les bad bots suffit à faire baisser drastiquement les crawlers indélicats

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

oui sauf que ce n'est pas trop le cas pour l'instant...
je vais quand même essayer de bloquer les bad, on verra ce que ça donne...

Par contre, si ça ne marche pas, ça sera vraiment problématique car ce sont vraiment des urls bidons qui s'affichent dans le pub-in de redirection...

wait and see !

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Peux tu en extraire une liste et nous la placer ici que l'on voit vraiment ce que cela donne ?

Une autre alternative et solution, est d’accéder à ton fichier .log (log HTTP) d'une journée avec un éditeur de texte et de rechercher les occurrences 404 pour voir ce qui les occasionne, s'agit il d'un User Agent (UA de crawler malfaisant) particulier ou pas, cela te donnera également les adresses IP qui les provoque.

Franchement, j'ai toujours un peu d'hésitation à bloquer les adresses IP, les vrais malfaisants sont capables de changer d'adresse IP aussi facilement que moi de chemise. Le risque après est que le vrai possesseur de l'IP (à un instant donné, ça change tellement souvent) se fasse éjecter de ton site avec une erreur 403 sans comprendre pourquoi

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

ça m'embête de publier l'adresse de mon site sur le forum (on ne sait jamais)... j'espère que tu comprends...

sinon, à première vue, je n'ai pas de fichier .log... du moins pas à la racine... bizarre ! Peux-tu me dire où il est censé se trouvé ?

Enfin, je suis d'accord avec le blocage des adresses IP... mais quelle autre solution ?

- - - Mise à jour - - -

suis-je le seul à avoir ce problème ?

[PieceOfCake]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour,

Tes fichiers logs HTTP, ne sont très certainement pas à la racine de ton site Web, en fait cela dépend essentiellement de ton hébergeur. Il convient de regarder la documentation de celui-ci ou de le contacter. Si afficher l'url de ton site sur le forum t(ennuies, tu peux toujours me le passer en MP que j'essaie de regarder de plus près. Quelques exemples de ce qui apparaît dans le pligin Redirection ne serait pas du luxe non plus, parce que là, on est tout prêt de la prédiction pour diagnostiquer tes soucis

Cordialement

[cavo789]

Re : Plug-in de redirection : des milliers de liens chaque semaine

Bonjour à tous

aeSecure (demo http://aesecure.com/demo/aesecure/setup.php) permet de bloquer au niveau du fichier .htaccess des urls que tu estimes incorrectes. J'ai développé pour cela l'option 4.4 (voir demo) qui permet de préciser des composants pour lesquels tu veux interdire l'accès.

L'objectif de la protection :

Si ton plugin de redirection mentionne des urls 404 sur des composants inconnus chez toi comme index.php?option=com_bidon&task=... ou index.php?option=com_repository&task=upload&..., cela indique que des scripts tentent d'accéder à des composants qui n'existent pas sur ton site. Pourquoi font-ils cela ? Probablement parce qu'une faille de sécurité existe dans ces composants et que ces scripts testent "à l'aveugle" des sites Joomla! pour, au petit bonheur la chance, en trouver un où le composant est installé et bingo, attaque le site.

aeSecure va donc te permettre de préciser quelques composants à bloquer : ils le seront au travers du fichier .htaccess qui est la porte d'entrée du site ==> l'url ne sera jamais transmises à Joomla! puisque immédiatement rejetée.

En outre, aeSecure, par d'autres protections, va permettre de bloquer des scripts malveillants (les robots) ou autre.

Bonne journée.

[dav_cbr]

Re : Plug-in de redirection : des milliers de liens chaque semaine

@ PIeceofcake : je t'envoie ça en privé.... merci

@ cavo 789 : le bloquage est-il automatique ? Car encore une fois, j'en ai plusieurs centaines par jour... donc si je dois tout faire à la main, ça va me prendre trop de temps...