Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

En faisant une recherche sur le site d'aide de Google
(ici : https://support.google.com/webmaster.../6066468?hl=fr )
je lis que les fichiers dont les URL sont momentanément indisponibles ... :


Exploration

1) L'outil Explorer comme Google ne peut actuellement pas explorer votre URL, car le temps de réponse du serveur a été trop long.

OU

2) L'outil Explorer comme Google a annulé votre exploration, car le serveur a reçu trop de requêtes consécutives pour différentes URL.

Remarques et étapes suivantes :

Sachez que l'URL n'est pas inaccessible pour tous nos services ; seul l'outil de simulation Explorer comme Google ne peut pas y accéder


Ca confirme donc mon pressentiment que si ce n'est pas "bloqué", alors tout va bien.

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Ca confirme donc mon pressentiment que si ce n'est pas "bloqué", alors tout va bien.

Je ne crois vraiment pas qu'on puisse en conclure cela, car si, pour une raison ou pour une autre, certaines ressources sont momentanément inaccessibles aux outils de test de Google, les scripts Google ne renvoient pas d'information sur leur statut bloquées ou débloquées (par un robots.txt ou un .htaccess). Ils signalent alors seulement qu'ils ne sont pas parvenus à une inspection complète des ressources utilisées pour l'affichage de la page testée.

[daneel]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

Pour info,

https://github.com/joomla/joomla-cms/pull/7681

Pe7er (Peter Martin) propose d'ajouter les lignes suivantes au fichier robots.txt

User-Agent: Googlebot
Allow: .js
Allow: .css

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

Pour info,

https://github.com/joomla/joomla-cms/pull/7681

Pe7er (Peter Martin) propose d'ajouter les lignes suivantes au fichier robots.txt

User-Agent: Googlebot
Allow: .js
Allow: .css

Exact c'était l'objet du post #30 dans ce fil (comme le temps passe !)

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Exact c'était l'objet du post #30 dans ce fil (comme le temps passe !)

A quoi j'avais ajouté (post # 31) la suggestion de mettre aussi (sauf exceptions) ces 3 autres directives générales :
—

Allow: *.gif
Allow: *.jpg
Allow: *.png

de façon à permettre à Google d'évaluer au mieux l'affichage en tenant compte aussi des images (http://forum.joomla.fr/showthread.ph...=1#post1070871).

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

oui et tu pouvais même faire l'économie des * le robots.txt acceptant très bien un
Allow: .gif

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

oui et tu pouvais même faire l'économie des * le robots.txt acceptant très bien un
Allow: .gif

...Exact. C'était pour voir si tu suivais .

Sinon, voici ce que dit un intervenant sur github à propos des fichiers .PHP (https://github.com/joomla/joomla-cms/pull/6839) :
—

PHP files in Joomla, including extensions on the JED, have a defined('_JEXEC') or die statement that prevents the contents of the file being exposed. Even if Google were to find it, the contents would be completely blank and they wouldn't index it.

That being said, if it's desired to not allow the indexing of php files, a derivative of the following could be used: Disallow: /*.php$

...précaution à vrai dire nécessaire seulement dans l'hypothèse où l'exécution directe d'un script PHP ne serait pas empêchée par une instruction defined('_JEXEC') or die.

[daneel]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

oui et tu pouvais même faire l'économie des * le robots.txt acceptant très bien un
Allow: .gif

oui merci, cela répond à mon interrogation...

Et question *, j'ai trouvé cette solution sur un autre forum :

[LEFT][COLOR=#666666][FONT=Trebuchet MS]....[/FONT][/COLOR]
[COLOR=#666666][FONT=Trebuchet MS]User-agent: *[/FONT][/COLOR]
[COLOR=#FF0000][FONT=Trebuchet MS]Allow: /**/gzip.php?*$
Allow: /**/*.css?*$
Allow: /**/*.js?*$
Allow: /**/*.css$
Allow: /**/*.js$[/FONT][/COLOR]
[COLOR=#666666][FONT=Trebuchet MS]Disallow: /administrator/[/FONT][/COLOR]
[COLOR=#666666][FONT=Trebuchet MS]....[/FONT][/COLOR][/LEFT]

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,

Et question *, j'ai trouvé cette solution sur un autre forum :

[LEFT][COLOR=#666666][FONT=Trebuchet MS]....[/FONT][/COLOR]
[COLOR=#666666][FONT=Trebuchet MS]User-agent: *[/FONT][/COLOR]
[COLOR=#FF0000][FONT=Trebuchet MS]Allow: /**/gzip.php?*$[/FONT][/COLOR][COLOR=#666666][FONT=Trebuchet MS][/FONT][/COLOR]
[COLOR=#666666][FONT=Trebuchet MS]....[/FONT][/COLOR]
[/LEFT]

J'avoue ne pas comprendre la signification du double astérisque :-\

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Bonjour,





J'avoue ne pas comprendre la signification du double astérisque :-\

Moi non plus, je pense qu'il s'agit d'une erreur l'anti slash escape le premier * astérisque : OK si l'idée était de filtrer avec une expression régulière sur la base de */gzip.php suivi (ou pas) de paramètres passés (?*) jusqu'à la fin de la ligne (de l'url en l'occurrence) alors la bonne syntaxe serait (à mon humble avis) :

/*//gzip/.php/?*$

avec la décomposition suivante :
/* = *
// = /
/. = . (le dot remplace n'importe quel caractère dans une expression régulière pas seulement le point)
/? = ? (idem le point d'interrogation remplace le ou les caractères précédents en signalant qu'il est (ou ils sont) présent une fois ou zéro fois en l'occurrence php? match à la fois ph et php mais en aucun cas le symbole ? séparateur des querystrings dans l'url)

dans les lignes suivantes à la suite de .css et .js j'avoue que je ne vois pas l'utilité du ?

quelque chose m'échappe

[PhilJ]

Bonjour,

[...] l'anti slash escape le premier * astérisque : OK si l'idée était de filtrer avec une expression régulière [...]

Là je crois bien que tu surestimes grandement la subtilité de la syntaxe de robots.txt, laquelle est ultra basique et ignore totalement les expressions dites régulières. En particulier elle ignore l'échappement, et le point d'interrogation signifie tout bêtement... point d'interrogation.

Par exemple j'ai ceci dans le code source d'un site de e-commerce : /media/com_hikashop/js/hikashop.js?v=250 (v=250 signifiant en fait version 2.5.0). En l'occurrence aucune directive particulière n'est à ajouter au robots.txt dans la mesure où j'autorise Google à regarder partout dans le dossier /media/. Mais supposons que ce ne soit pas le cas pour les besoins de l'explication. Alors une instruction pour cibler ce type d'URL serait .js?*. Si au contraire on voulait cibler spécifiquement les fichiers JS ne comportant pas de point d'interrogation (ie : les fichiers JS sans paramètre-s), on écrirait plutôt .js$, le $ signifiant tout simplement « à la fin » : cette syntaxe restrictive ciblerait alors tous les fichiers JS, sauf ceux ne se terminant pas par .js.

[PieceOfCake]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Oui tu as sans doute raison, me suis un peu enflammé là !
on trouve quand même ceci dans les commentaires de Google lui-même :

Regular Expressions are not allowed in robots.txt, but Googlebot (and some other robots) can understand some simple pattern matching:
Say if you wanted to block all URLs that have a example any where in the URL, you can use a wild card entry *

User-agent: *
Disallow: /*example
You can also use the dollar sign $ to specify that the URLs must end that way. So if you wanted to block all URLs that end with example, but not URLs that had aexample elsewhere in the URL you could use:

User-agent: *
Disallow: /*example$

Dommage ça aurait pu être sympa

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Dommage ça aurait pu être sympa

En fait c'est sympa , du moins pour les signes * et $, car pour les ? rien à faire : dans le robots.txt ce sont toujours de simples points d'interrogation — typiquement utilisés pour introduire un passage de paramètres : ?parameter=value.

=> Dans le robots.txt, ? n'est pas là pour remplacer un caractère quelconque (comme c'est le cas dans les expressions régulières) mais simplement pour cibler la présence d'un (bête) point d'interrogation. Référence : https://support.google.com/webmaster..._topic=6061961, § accessible depuis la ligne cliquable 'Pattern-matching rules to streamline your robots.txt code'.

________________________

Reste la question de la compatibilité, et là c'est quasi aussi sympa.

En effet, on peut lire encore aujourd'hui que les wildcards (jokers symbolisés par un *) et autres $ ne sont pas standard, et donc (!?) qu'il ne faut pas les utiliser. Or ce sont 2 affirmations différentes : la signification de ces symboles n'est pas standard, c'est vrai, car le standard du robots.txt est vraiment minimaliste et n'a pratiquement pas évolué depuis les débuts du web. Mais la quasi totalité des moteurs de recherche en reconnaissent la signification. Voir la première phrase de http://robots-txt.com/ressources/robots-txt-wildcard/.

En tenant compte de cette indication, la question devient : quelle est la part de marché des principaux moteurs de recherche ?

=> Prenons l'exemple de la France pour 2015 (source : http://gs.statcounter.com/#desktop-s...501-201507-bar) :
—

• Numéro 1, de très loin : Google, avec plus de 93 % des recherches moteur.
• Numéro 2 et numéro 3 sur le podium, évidemment très loin derrière Google : Yahoo et Bing, avec pour chacun ~ 3 % des recherches moteur.
• Tous les autres moteurs réunis cumulent moins de 0.5 % des recherches moteur.

Or les 3 premiers moteurs cités reconnaissent la signification de * et de $.

Donc, au pire, 0.5 % des moteurs de recherche utilisés en France ne reconnaissent pas la signification de * et de $ : lorsque Google écrit que « Googlebot (and some other robots) can understand some simple pattern matching », il faut comprendre que au moins 99.5 % des recherches se font avec des moteurs qui reconnaissent parfaitement ces directives non standard.

On peut donc utiliser les signes * et $ dans le robots.txt sans plus se poser la question de savoir s'ils sont ou non standard .

[FlodAriege]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Pfff....
... soit Google n'en fait qu'à sa tête,
... soit je suis aveugle et je ne vois pas mon erreur dans mon robots.

Sinon, pourquoi, alors que j'ai une ligne qui dit :
Disallow: /site_content/tags.html*

Quand je teste une URL comme :
/site_content/tags.html?id=124&start=10
dans l'outil de test du robots.txt

le résultat pour cette URL est :
"autorisée"

???

Est-ce que c'est une histoire de ? ou de * ou autre signe cabalistique ?
(j'espère que non les gars, paske je vous ai complètement perdus dans la fin de ce thread...)

Merci

[PhilJ]

Re : Accès de Googlebot aux fichiers CSS et JS impossible sur le site

[...] pourquoi, alors que j'ai une ligne qui dit :
Disallow: /site_content/tags.html*

Quand je teste une URL comme :
/site_content/tags.html?id=124&start=10
dans l'outil de test du robots.txt

le résultat pour cette URL est :
"autorisée"

???

A tester :

Disallow: /site_content/tags.html?id=*&start=*

ou même plus court :

Disallow: /site_content/tags.html?*