[Partage] Spam, requetes malveillantes, url canoniques, htaccess

[ManuelVoileux]

Bonjour tout le monde,
je viens partager mon expérience récente pour diminuer le nombre d'erreurs et d'attaques sur le site voileux org.

En bref : j'avais plus de 3000 erreurs collectées chaque jour, dont 95% de requêtes malveillantes et 5% d'erreurs d'indexation. Après ajustement du fichier .htaccess, et correction de 200 erreurs d'indexation, je n'ai plus que 3 requêtes malveillantes par jour, et 3 erreurs d'indexation. Merci aux contributeurs des forums joomla qui m'ont donné des idées et des solutions, daneel, RobertG, sozzled, DaveOzric, brian, pe7er, et enfin Jeff Starr de Perishable Press pour les modifications de htaccess, et Firecoders, développeur du composant Route 66.

En détail :
Le but de cette démarche était de corriger les erreurs d'indexation. En collectant les erreurs j'ai découvert l'ampleur des requêtes malveillantes, attaques, spam, ou spamdexing.

Le site voileux date de 1998, d'abord en html, puis après quelques étapes sous Joomla, 1, puis 2 puis 3, et maintenant Joomla 4. J'ai reconstruit intégralement plusieurs fois le site, en laissant des scories des anciens sites à droite et à gauche, en particulier chez free, avec voileuxassoc et pitalug. Je viens de tout rassembler chez un seul hébergeur OVH, avec le nom de domaine voileux org. Le nouveau site est sous jooml423 (au 06/010/2022) et Cassiopeia, et les anciens sites en html, dans des sous domaines. Je voulais corriger les erreurs d'indexation liées au changements de noms et d'hébergements.

J'ai activé les plugin system de redirection, et j'ai activé la collecte d'erreur. Immédiatement cela a été l'avalanche, avec des requêtes pleines de xxx$$$???.php ou .html, .gz, ou .jpg, ou config.php, includes.php, search.php, root. php, _ignition/health-check/ , cache/mod_latest/style_135.css, et tous les nombres l'un après l'autre, ou bien wp-content/uploads/wp-dba.php ou utilisant des morceaux d'adresse dynamiques de plugins pour construire des requêtes. 3000 par 24 heures. Les 20 erreurs d'indexation quotidiennes noyées au milieu de ce fatras.

1-j'ai activé la réécriture des url en dynamique (réponse de daneel sur https://forum.joomla.fr/forum/joomla...uble-iccaldate)

Réécriture d'URL en clair (SEF) : oui
Réécriture au 'vol' des URL : oui
Ajouter un suffixe aux URL : oui
Alias Unicode : non

2- j'ai activé le plugin system SEF, et j'ai indiqué une url canonique;

3- j'ai installé le plugin Route 66, qui simplifie les URL affichées et j'ai activé l'écriture d'url canoniques;
(voir aussi la réponse de daneel dans https://forum.joomla.fr/forum/joomla...url-canoniques)

4- j'ai installé le plugin OSMAP et j'ai fourni des sitemap à Google et Bing;

5- enfin j'ai beaucoup travaillé le htaccess avec l'aide de Jeff Starr de Perishable Press

5.1- j'ai installé le firewall 7G de perishable press, plug and play dans le htaccess

Arrivé là j'étais passé de 3000 requetes incongrues par jour à 200.

5.2 - j'ai fait quelques ajustements dans le htaccess , voir le code ci dessous

Je n'ai plus que 3 ou 4 requetes incongrues chaque jour, et j'ai pu me focaliser sur la correction des erreurs d'indexation.

Mon htaccess commenté pèse 19.8 ko, au lieu des 7.8 ko du htaccess d'origine joomla. Mais je ne vois pas de différence dans le rating googlespeed ou gtmetrix. J'ai ajusté le htaccess (mod DEFLATE by type, Expire headers), j'ai activé le plugin Systeme-cache de page, et j'ai désactivé la compression Gzip de Joomla, pour éviter les problèmes de double zip.

Je conserve 2 autres copies de ce htaccess sous 2 noms différents sur le site même, pour parer aux écrasements lors des mises à jours Joomla.

Merci pour vos commentaires, remarques, identification d'erreurs et pistes d'amélioration.

## code ajoute dans le .htaccess apres la section ## Begin - JOOMLA Rewrite rules to block out some common exploits.
## Begin - CUSTOM Rewrite rules
<IfModule mod_rewrite.c>
RewriteEngine On
## Begin - CUSTOM Rewrite rules to block out some common exploits.
## supprimer les requetes repetititives incongrues sous joomla 4 et qui aboutissent à la page d'erreur
RewriteCond %{REQUEST_URI} (/)(adminer|(alf.*)|alwso|apismtp|ajaxupload|beez5|c achee|ghost|hello|(mari.*)|myadmin|phpmyadmin|prot ostar|webconfig|webroot|wordpress|(wp-.*)|health-check|create-an-account|(db_backup.sql.gz))(\.php)?(\.html)? [NC]
RewriteRule .* - [F,L]
## Cette rewriterule supprime toutes les requetes comportant de 1 à 4 chiffres ou de 1 à 4 lettres et se terminant par .php (1.php, 123.php, abc.php, root.php, etc)
RewriteRule ^([a-zA-Z]{1,4}|[0-9]{1,4}).php - [F,L]


## CUSTOM rewrite rule to specific page
## enfin des regles de redirection correspondant à des erreurs d'indexation
## ADAPTER EN FONCTION DE VOS BESOINS PROPRES
## je n utilise plus ces plugin, composant ou url
#RedirectMatch 301 /(forum|jcomments)/.* https://voileux.org/
##j'ai change l article et le lien de menu
#RedirectMatch 301 /tous-les-articles/ https://voileux.org/listes-articles/articles-classes.html
#RedirectMatch 301 /calendrier-voileux/(sorties-passees-2|sorties-a-venir)/ https://voileux.org/listes-articles/articles-classes.html
#RedirectMatch 301 /liste-des-sorties-a-venir/ https://voileux.org/listes-articles/articles-classes.html
##je n utilise plus ces plugin, composant ou url vers d anciens repertoires
#RewriteCond %{REQUEST_URI} (/)(articles)(/)(mots-cle)(/)(activites|((equipiers)(/)([0-9]{1,4})$))(/)? [NC,OR]
#RewriteCond %{REQUEST_URI} (/)(((images)(/)(images_voileux)?(/)?((z201[0-9])|(a_201[0-9]))(/)?)|(plg_jdvthumbs)|(com_jchoptimize)) [NC,OR]
#RewriteCond %{REQUEST_URI} (/)(articles)?(/)?(les-plus-recents)(/)? [NC]
#RewriteRule .* https://voileux.org/ [R=301,L]

## End - CUSTOM Rewrite rules
</IfModule>

[ManuelVoileux]

Bonjour,
Depuis plusieurs semaines je récupère moins de 5 requêtes erronées par jour. Toujours en complément du firewall 7G de perishable press, j'ai mis à jour les règles du htaccess du site des voileux. A utiliser avec précaution, et à adapter à votre site et en fonction des plugin que vous utilisez :

################################################## ###
## Begin - CUSTOM  Rewrite rules to block out some odd requests.
#
<IfModule mod_rewrite.c>
        ## Stop the 1234.php abc.php ab123.php and the likes
        RewriteCond %{REQUEST_URI} /(([0-9]{1,4})|([a-zA-Z]{1,3})|([a-zA-Z]{1,2}[0-9]{0,3})).php [NC]
        RewriteRule .* - [F,L]
        ##
        ##Stop given terms in the QUERY_STRING
        RewriteCond %{QUERY_STRING} ^.*(alf|about|adminer|alwso|apismtp|ajaxupload|bck|beez5|cachee|civicrm|cmdb|create-an-account|(db_backup.sql.gz)|easyblog|foxwso|ghost|h axor|health-check|hello|jindex|makh|mari|myadmin|ozio|phpinfo| phpmyadmin|protostar|regist|sex|sh3llx|upload|webc onfig|webroot|wordpress|wso|xleet|xlet|xltavrat|wp ).*  
        RewriteRule .* - [F,L]
        ##
</IfModule>
#
#      
<IfModule mod_alias.c>
        ##Stop given terms with alias mode
        RedirectMatch 403 .*(([0-9]{1,4}byte)|git|alf|about|adminer|alwso|apismtp|aja xupload|bck|beez5|cachee|civicrm|cmdb|create-an-account|(db_backup.sql.gz)|easyblog|foxwso|ghost|h axor|health-check|hello|jindex|makh|mari|myadmin|ozio|phpinfo| phpmyadmin|protostar|regist|sex|sh3llx|upload|webc onfig|webroot|wordpress|wso|xleet|xlet|xltavrat|wp ).*
        ##
</IfModule>
#
## End - Custom Rewrite rules to block out some odd requests.
################################################## ################