[Partage] Blocage des IA bots : cache passe de 200 Mo à 10 Mo en 24h

[ManuelVoileux]

Bonjour ,
depuis que j'ai changé d'hébergeur, je voyais des volumes de cache très important. plus de 200 Mo par 24 heures. Ce que je n'avais jamais vu avant. Et à nouveau mon site est tout petit (19 utilisateurs, et 200 articles). J'ai rajouté des lignes dans le robot.txt et dans le htaccess pour bloquer les bot d'intelligence artificielle, et je suis revenu à un cache plus normal pour moi .

[daneel]

oui, même les petits sites peuvent avoir des vagues de connexion de robots d'indexation de toutes sortes.

Parfois même google bot fait ralentir en prenant beaucoup de ressources. Pour eviter, on peut aussi ajouter un délai (craw delay)

Je remarque que tu donne l'url de ton composant de gestion de map xml. Perso, je préfère créer et donner un alias vers la racine du site sous le nom sitemap.xml (que j'ai défini préalablement via le htaccess après avoir activé la réécriture), ainsi le robot ne "voit" pas le composant ou le chemin juste le fait d'avoir le sitemap.xml disponible à la racine du site.

voir

https://forum.joomla.fr/forum/joomla-4-x-aa/questions-g%C3%A9n%C3%A9rales-aa/2050141-fichier-robots-txt?p=2050148#post2050148

https://forum.joomla.fr/forum/joomla-4-x-aa/questions-g%C3%A9n%C3%A9rales-aa/2051195-sitemap

[ManuelVoileux]

Bonjour,
merci pour la réponse et le conseil. Je regarde çà.