Comment repérer les bots malveillants et ... que faire ensuite?

[el_pequeno]

Bonjour,

Alors, je reprécise que je débute...
Pour voir un peu ce qui se passait sur mon site, j'ai activé l'enregistrement d'IP sur Phoca Download (...)

Étant curieux, j'ai regardé l'IP d'un "visiteur" qui télécharge 185.191.171.25
Je suis tombé sur cette page: https://www.abuseipdb.com/check/185.191.171.25, pas trop rassurante
Et celle-ci: https://cleantalk.org/blacklists/185.191.171.25
qui dit "185.191.171.25 reported as spam and brute force attacks"
Est-ce vraiment un truc malveillant?

Quelles sont les méthodes pour se prémunir de bots malveillants, raisonnablement préserver son flux de données, mais laisser les bots d'indexation faire leur job?

[daneel]

Bonjour,

1. Pas de panique !
C'est normal car chaque site, chaque serveur subit régulièrement la visite de robots mais généralement ce sont des tentatives qui n'aboutissent à rien comme essayer d'accéder à l'admin d'un wordpress sur un site joomla ! Les hébergeurs offrent des solutions de protection déjà mises en place. Mais tu as aussi des hébergements qui sont de véritables passoires. Pas d'inquiétude, il faut prendre du recul et analyser la situation. De toutes façons, si on ouvre les logs de connexion, certains pourraient avoir des frayeurs. On est déjà dans un monde en crise alors évitons d'ajouter du stress !

2. L'hébergeur a des responsabilités
De mon avis, une partie du travail doit être fait par l'hébergeur d'où l'importance de bien choisir le partenaire. Sur mes serveurs, des protections détectent des comportements ou tentatives de hacks, une réponse se fait automatiquement allant de l'affichage d'un formulaire avec captcha pour vérifier que ce soit une personne au blacklistage temporaire (24h) ou définitif (il l'aura bien cherché!). Par défaut, l'entête des pages ne contient pas la signature de version de php ou autre élément pouvant faciliter la recherche de faille;

3. L'administrateur du site également
Les protections de l'hébergeur ne dispense pas le webmaster de tenir son site avec une version à jour. Bien que Joomla 4 peut fonctionne sous php 7, il est temps de basculer sous php 8.x (si ce n'est déjà fait) donc vérifier que les extensions tierces soient compatibles ainsi que votre hébergement. Actuellement, ce n'est pas le cas de certaines extensions ( sans compter celles qui n'ont toujours pas évolués sous joomla 4!). Des efforts sont donc nécessaires. N'hésitez pas à poser la question sur le forum.



4. Une sécurisation gratuite, en innovation constante...
Une solution que j'utilise depuis des années, c'est d'ajouter le site à cloudflare.com

C'est assez simple car il suffit de s'inscrire, suivre la procédure (rapide) et l'offre gratuite suffit largement. En plus d'une protection, cela offre de l'optimisation et un CDN gratuit. Le principe, c'est que cloudflare se place entre votre nom de domaine et votre hébergement. La zone dns est géré directement depuis leur panel et les modifications des paramètres se font quasiment de façon instantané. Je n'ai jamais eu à souffrir de cloudflare, au contraire, les bots sont gérés efficacement ainsi que les attaques par bruteforce. Cela cache également votre IP donc le serveur subit moins d'attaques. On peut également paramétrer le SSL de façon à n'accepter que les navigateurs modernes ( et bloquer ceux qui utiliseraient internet explorer ou d'anciennes versions faillibles) et même imposer quelques règles. C'est un choix parmi de nombreuses possibilités gratuites !

Mon conseil, c'est de voir au moins l'utilisation de cloudflare surtout en étant débutant afin de comprendre les rouages et voir si votre hébergeur propose l'équivalent. Pour info, si cloudflare etait bloqué, c'est pratiquement un tiers des sites internet dans le monde qui se retrouve paralysé. On peut dire pratiquement que Cloudflare détient l'internet entre leurs mains.

A noter qu'un nouveau captcha, respectueux du RGPD vient d'être publié et mis à la disposition de tous par Cloudflare. Et son adaptation pour Joomla est déjà là : https://extensions.joomla.org/extens...are-turnstile/ .... Et bien évidemment c'est entièrement gratuit

5. Etudier le htaccess, autres solutions

En terme de protection, on peut ajouter quelques règles dans le fichier htaccess pour bloquer les bots et supprimer certaines tentatives. Mais attention à ce qui est déjà en place, la compatibilité avec votre hébergement et le travail d'optimisation. A force de jouer les apprentis sorciers, on se retrouve parfois perdus...

La règle d'or, c'est sauvegarde, mise à jour et simplicité. Il n'y a pas de solution parfaite mais évitez de partir dans tous les sens. Prenez le temps de vérifier le principe de sauvegarde et d'augmenter progressivement votre niveau de sécurité au fur et à mesure de votre apprentissage notamment de ce fichier htaccess. Vous avez le temps !

Le fichier htaccess offre beaucoup plus de possibilités. Certains d'entre nous se souviennent d'aesecure, un script permettant de gérer le fichier htaccess à travers une belle interface. Pour filtrer les bots, le htaccess, c'est une des solutions.



En équivalence de sécurité, on a quelques extensions joomla comme admin tools, (comme l'indique son auteur, admin tools c'est un peu le couteau suisse de la sécurité sous joomla )

A savoir : certains services web se sont dédiés à la gestion de sites joomla à distance comme watchfull.li, mysites.guru, yoursites.net ...

6. Comparaison pro : sauvegarde / serveur protégé / antispam / monitoring

En tant que professionnel, sur tous les sites que je gère, j'ai une sauvegarde sur 30 jours, c'est à dire que je peux remonter jusqu'à 1 mois et restaurer en quelques minutes. Je vérifie régulièrement que la restauration fonctionne. Le panneau d'administration (cpanel) que je met en place dispose également d'une possibilité de cloner le site donc de le restaurer par exemple en sous-domaine, idéal également pour faire évoluer le site sans toucher au site en production. Toutes les extensions et joomla sont à jour ainsi que la version de php. Ce sont des serveurs litespeed avec le puissant cache.

Le fichier htaccess est adapté à mes configurations (optimisation et protection) mais je dispose également de plusieurs protections serveurs pour l'hébergement ainsi que SpamExpert pour filtrer la messagerie. De plus, je n'utilise pas de solution ftp mais uniquement ssh (sous windows, je conseille le logiciel winscp). Malgré tout cela, dans le cas ou un client "oublie" d'effectuer les mises à jour dans mon hébergement, j'ai le service de patchman.co qui effectuera les correctifs nécessaires "virtuellement" afin de colmater les failles en attendant que le webmaster intervienne véritablement. De plus, les services de cloudflare complètent l'ensemble.



En cas d'attaque, j'ai des alertes emails et une application smartphone pour réagir si besoin en plus des automatismes. Tous les outils sont toujours près de moi.

Le monitoring http, messagerie, etc. ( de type uptime ou pingdom.com ) me permet d'assurer et d'afficher un fonctionnement entre 95 et 99% du temps, le statut de disponibilité est donc transparent pour le client qui peut connaître en temps réel si son site est disponible, si c'est sa connexion, le site ou le serveur.

Sur le coût et en dehors de mon support d'expertise, l'hébergement ne revient pas plus cher que le coût moyen. Cependant j'exclus le streaming car les serveurs ne sont pas fait pour cela (d'autres solutions existent) et la taille de l'espace disque disponible est définie. Bien souvent, les solutions dite "illimités" sont bien plus bridés que l'on veut bien le dire.

7. en résumé

Pour répondre à la question :

Quelles sont les méthodes pour se prémunir de bots malveillants, raisonnablement préserver son flux de données, mais laisser les bots d'indexation faire leur job?

Panneau d'administration de l'hébergeur, cloudflare, htaccess et quelques extensions joomla.

Le but de cette longue explication détaillé, c'est aussi de voir la gestion de la sécurité dans sa globalité, pas uniquement sur le fait de lutter contre les bots malveillants.

[el_pequeno]

Bon, je suis partout en même temps ces derniers temps....

1) Pour l'instant pas trop inquiet sur les tentatives d'intrusion, à priori, les mots de passe admin sont relativement robustes et je vais les renforcer.
Mais ce robot s'amuse à me télécharger plusieurs fois des fichiers, une fois par jour. Bon, c'est pas une attaque au sens propre...
Mais 20Mo par jour, s'il continue comme ça, ça fait 600Mo/mois soit 60% de mon quota (si j'ai bien compris. 1Go par mois, c'est pas beaucoup quand même...)
=> du coup, pour le moment, j'ai pris la décision, sauf exception, de restreindre le téléchargement des fichiers de plus de 100ko aux personnes inscrites.
Ça préservera les ressources du site.

2) il y a certaines protections, mais je me souviens plus exactement...

3) Oui, c'est moi ...
Bon, ça (re)met en évidence le fait que je ne peux pas tout faire.
Probable que dans les prochains prévisionnels de dépenses, il faudra penser à prévoir un petit budget pour faire appel à un pro de façon ponctuelle...

4) au sujet de CloudFlare, je suis un peu "mitigé". On a choisi des fournisseurs suisses, proche ou dans la philosophie libre et engagés pour la confidentialité.
Justement pour se démarquer des géants Américains, à priori, maintenant soumis à "Earn It" (?) et donc à l'écoute de masse.
CloudFlare, clame qu'il s'y oppose (j'ai fait quelques recherches ), mais "Earn It" impose (je crois) à la fois de collaborer et de dire qu'ils ne collaborent pas...
Actuellement, je suis donc un peu interrogatif sur les logiciels qui dépendent de la lois américaine (Non, pas sur Wxndxs là, je sais... )

5) bon, bah, j'étudierais ça...

[pmleconte]

Bonjour,

Si tu veux interdire une adresse IP en particulier et que tu es avec un serveur APACH, tu peux la bloquer au niveau du fichier .htaccess.

Il faut ajouter :

<IfModule mod_authz_core.c>
<RequireAll>
Require all granted
require not ip 185.191.171.25
</RequireAll>
</IfModule>

Pascal

[el_pequeno]

Bon, j'ai regardé un peu les logs d'erreur...

Je vais devenir parano si ça continue

Aujourd'hui, j'ai une IP qui revient 68 fois en "negotiation:error" sur le fichier "home/client/.../web/index.html"
J'ai mis cette IP en moteur de recherche ça m'indique un site (que je ne préfère pas citer, ne sachant pas s'il est malveillant ou pas)...
Selon Wikipédia, ça serait le site d'un journal Égyptien, engagé politiquement... Je suis sur d'avoir compris, c'est écrit en anglais:
A priori, ils sont engagés contre l'islamisme radical mais, en représailles, ils se sont déjà fait piraté leur site...
Celui-là, je l'ai bloqué....

Il sert à quoi ce fichier?

Sur ce fichier htaccess, je peut ajouter des commentaires en ajoutant des "point virgules" début de lignes?
Si je veux ajouter une IP exclue, je recopie tout ou j’insère juste la ligne "require not ip x.x.x.x" à la suite de sa sœur jumelle?

[pmleconte]

Bonjour,

Au niveau du .htaccess, c'est une ligne "require not ip ..." par adresse à bloquer.

A la fin du mois, cela peut représenter quelques adresses louches.

[el_pequeno]

Merci, je vais surveiller ça

[ManuelVoileux]

Bonjour tout le monde,
j'ai rencontré ce problème de très nombreuses requêtes malveillantes. Comme le dit Daneel , c'est banal, et elles n'aboutissent en général à rien. J'ai bien modifié mon htaccess, et je suis passé que plus de 2500 requêtes par jour, à quelques unités aujourd'hui. Mon intérêt est de repérer les vraies erreurs d'indexation, suite à un changement de beaucoup de liens de mon site. L'autre intérêt est d'économiser les ressources du site.

Beaucoup d'infos sur htaccess, et en particulier un firewall gratuit à copier coller chez Perishable Press. Ce firewall bloque en particulier une liste impressionnante de bot. On peux toujours compléter. Voir mon partage récent détaillé sur le forum.
Je ne connais pas cloudflare, je vais aller voir.

[el_pequeno]

Bon, j'ai réussis à planter temporairement mon site !
C'est ce qui arrive quand on écrit "repuire" à la place de "require"...

C'est vrai qu'un outils pour manipuler ce fichier, ça serait mieux...

[el_pequeno]

Apparemment les Semrush Bot arrivent à contourner l'interdiction d'IP faite aux travers de htacces...