[Partage] Tutoriel sur le fichier robots.txt

[fredjouan]

Bonjour,
À destination des utilisateurs de Joomla! débutants, ce petit didacticiel sur le paramétrage du fichier robots.txt pour rendre visible votre site par les robots d'indexation.

https://www.fred-net.fr/blog/joomla/joomla-et-le-fichier-robots

Fred

[daneel]

Re : Tutoriel sur le fichier robots.txt

Bonjour,

Merci Fred pour le partage.

A titre d'info pour les débutants, vous pouvez également tester et détecter les erreurs de votre fichier robots.txt via GSC (Google Search Console) : https://www.google.com/webmasters/tools/home?hl=fr

[alva75]

Re : Tutoriel sur le fichier robots.txt

Merci beaucoup Fred, pour ce tuto encore quelque chose que je ne savais pas.

Merci

Cordialement alva

[fredjouan]

Re : Tutoriel sur le fichier robots.txt

C'est sympa de votre part, c'est un fichier important qui demande de l'attention, plutôt dans le cadre de la SEO. Les moins aguerris peuvent y trouver quelques idées.
@Daneel : je suis en train de terminer une adaptation du lien que tu m'avais donné pour s'affranchir de la durée du cache du fichier analytics.js (qui perturbe la note des tests Page Speed). C'est efficace mais un peu technique…
@Alva : et remplis-moi ces balises titre et description (title et Alt) sur les images et les liens ! Tu gagneras en lisibilité dans les moteurs

[alva75]

Re : Tutoriel sur le fichier robots.txt

Bonjour Fred,

Dans mon fichier d'éxploration de Google Search j'ai certains paramètres ont des noms a rallonge composés de chiffres et de symboles type = % etc...

De plus je ne sais pas vraiment si c'est du plug in, modules, composants etc...

Et une dernière il doit forcement y avoir des règles auxquelles ont ne devrais pas ouvrir au moteurs de recherche ? Comment savoir si on ne fait pas une bourde ?

[fredjouan]

Re : Tutoriel sur le fichier robots.txt

Tu parles du test du fichier robots.txt ?
Donne moi le nom d'un fichier parce que "type = %", ça ne me cause pas beaucoup...

[tipworld]

Re : Tutoriel sur le fichier robots.txt

Juste pour dire merci @fredjouan ! c'est clair et net, excellent tuto !

[fredjouan]

Re : Tutoriel sur le fichier robots.txt

Vos encouragements me poussent à continuer la démarche de partage de mon expérience Joomla avec une série de tutoriels dédiés à la SEO.
Patience, patience,…
Fred

[cavo789]

Re : Tutoriel sur le fichier robots.txt

Super Fred!

[alva75]

Re : Tutoriel sur le fichier robots.txt

J'ai résolu le problème, c'est tout simplement du iframe c'est pour ça que ça ne donnait rien merci quand même Fred c'est excellent

[ced1870]

Re : Tutoriel sur le fichier robots.txt

salut
merci pour le tuto
à noter (pour info) que Joomla! prévoit plus ou moins une parade au souci des extensions, car les développeurs devraient utiliser le dossier "media" pour y stocker CSS, JS et images pour leurs extensions

Mais ça sort de ton tuto bien sur, j'y pense juste pour l'exemple avec Mediabox CK (ça me donne des pistes d'amélioration)
Par contre je me demande quand meme en quoi les scripts et css de Mediabox font chuter le SEO si pas accessibles par google ? ce n'est qu'une lightbox, ça ne devrait pas avoir d'impact sur le référencement , si ?

CEd

[daneel]

Re : Tutoriel sur le fichier robots.txt

Par contre je me demande quand meme en quoi les scripts et css de Mediabox font chuter le SEO si pas accessibles par google ? ce n'est qu'une lightbox, ça ne devrait pas avoir d'impact sur le référencement , si ?

Bonjour,

C'est indiqué dans search console. A partir du moment ou tu bloque css & js avec robots.txt, tu te pénalise au niveau du référencement. Je pense que cela doit dater de 2015 avec la politique de google vis à vis du mobile.

Les solutions sont multiples...
Exemple du fichier robots.txt de joomla.fr : https://www.joomla.fr/robots.txt

User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
# ------------- COMPOSANTS --------------
Allow: /components/*/js/jquery/*.js?*
Allow: /components/*/js/*.js?*

# ------------- MODULES --------------
Allow: /modules/*/css/*.css$
Allow: /modules/*/css/font/*.ttf$

# ------------- PLUGINS --------------
Allow: /plugins/system/*/css/*.css$
Allow: /plugins/system/*/js/*.js$
Allow: /plugins/system/*/css/*.css?*
Allow: /plugins/system/*/js/*.js?*
Allow: /plugins/system/*/themes/standard/css/.css?*

# ------------- TEMPLATES --------------
Allow: /templates/*/css/*.css$
Allow: /templates/*/css/presets/*.css$
Allow: /templates/*/js/*.js$

# -----------JSitemap entries-----------
Sitemap: [URL]http://www.joomla.fr/index.php?option=com_jmap&view=sitemap&format=xml[/URL]

Petit rappel de Simon Kloostra sur le sujet :

https://joomlaseo.com/blog/robots-txt-do-not-block-css-and-javascript

[fredjouan]

Re : Tutoriel sur le fichier robots.txt

Merci Daneel pour ce fichier robots.txt bien structuré et qui doit permettre un accès à Google d'un maximum d'extensions disponibles.
Il ne dédouane cependant pas d'une vérification dans la Search Console, pour pister les extensions non conformes.
Avec ta permission, je vais l'ajouter comme modèle de base pour une bonne pratique SEO.

[GraphiqueDesign]

Re : Tutoriel sur le fichier robots.txt

Bonjour, et merci pour l'ensemble des connaissances que vous partagez généreusement ici.

J'ai moi aussi une question.
Comment gérer les ressources bloquées et signalées par la console du type :

https://www.gstatic.com/recaptcha/api2/logo_48.png

et toutes celles liées à :

https://maps.googleapis.com/maps/api/js/AuthenticationService.Authenticate ...

Je suppose que dans ces cas, on ne peut rien faire, ou bien ?
Merci.

[fredjouan]

Re : Tutoriel sur le fichier robots.txt

Bonjour,
Malheureusement, les ressources externes ne sont, à ma connaissance, pas concernées par robots.txt mais je comprends mal pourquoi des ressources Google ne sont pas accessibles... par Google.