[Problème] Comment bien paramétrer Cloudflare pour bloquer les AI crawlers?

[guillenphoto]

Bonjour à tous,

j'espère que vous allez bien.

J'ai une question à vous poser. Elle ne concerne pas Joomla directement même s'il y a un lien ténu.
Mon site web est www.guillenphoto.com

Tout d'abord, voici le contexte.
J'utilise Hikashop pour ma boutique en ligne. J'ai un site web multilangue et multidevise.
Pour avoir la devise correcte au moment de l'affichage des pages, Hikashop utilise le service en ligne IP2location.io.
J'ai payé pour le service 100 000 requêtes par moi. Il y a quelques semaines, un problème est apparu. J'avais environ 15 000 visites par ajour. Matomo n'en enregistre que 1 000. Nicolas de Hikashop s'est aperçu que la plupart des requêtes venaient des AI crawlers. EN 7 jours, je n'avais plus de crédits IP2location.
Il a effectué une correction intéressante en s'inspirant de la technique de Matomo. Mais cette modification n'est pas suffisante. J'avais encore 5 000 visites par jour. 4 000 de trop.

J'ai donc décidé d'intégrer la version gratuite de Cloudfare pour des tests.

Dans un premier temps, j'ai juste activé les options de contrôle des bots dans Cloudflare. Cela n'a pas réduit le nombre de requêtes. Je ne comprends pas l'intérêt de ces options.
Dans un deuxième temps, j'ai créé deux règles en disant de bloquer tous les crawlers AI : Cloudflare propose 4 familles. Mêmes résultats.
Dans un troisième temps, j'ai activé l'option Under Attack. Les crawlers sont bien bloqués. Seulement 1300 crédits sont utilisés. Tout fonctionne.

Ma question est la suivante :
j'ai peur qu'en activant cette option, les crawlers de contenus soient aussi bloqués. Je verrai dans quelques jours.
Est-ce quelqu'un pourrait me dire comment il fait pour créer des règles dans Cloudflare pour bloquer efficacement ces AI Crawlers?
Cela m'aiderait beaucoup.

Merci par avance pour votre aide,
Sincèrement,
A. Guillen

[pmleconte]

Bonjour,

Concernant les bots IA, j'utilise https://perishablepress.com/ultimate-ai-block-list/

Cela peut se faire soit dans le robots.txt (même si les bots n'ont pas l'air d'en tenir vraiment compte..) ou, plus sûr, dans le .htaccess.

Je l'ai intégré dans CG Secure.

Pascal

[guillenphoto]

Bonjour,

Je vous remercie beaucoup pour votre réponse et le partage de ces informations. J'apprécie beaucoup.

Je viens de changer le robots.txt en ajoutant les lignes préconisées.
J'ai aussi changer le .htaccess en ajoutant les lignes au début.

Pour effectuer un test, j'ai désactivé l'option Under Attack dans Cloudflare. Je vais laisser tourner 48 heures. Je reviendrai vers vous pour vous dire si cette solution fonctionne avec mon site.

J'écrirai aussi un autre post concernant Cloudfalre. Woluweb avait raison...

Sincèrement,
A. Guillen

[guillenphoto]

Bonjour Pascal,

je poste ce commentaire pour dire qu'après 7 heures de tests, j'ai consommé 5 000 crédits sur mon IP2location.io.
Je reviens immédiatement dans l'état Under Attack dans Cloudflare. Finalement, je pense que c'est la meilleure solution pour me protéger contre les crawlers indésirables. C'est la solution parfaite pour mon site web.

J'ai l'impression que les crawlers n'ont pas d'éthique et que tout est bon pour analyser les sites. Le seul moyen de les bloquer est ce système mis en place par Cloudflare.
Ce que je ne comprends pas, c'est comment le faire avec les Rules.

J'espère que quelqu'un pourra m'éclairer sur ce sujet.

Merci encore pour votre suggestion qui ne fonctionne pas sur mon site web.

Sincèrement,
A. Guillen