Outil de test des données structurées : sites inaccessibles

[RobertG]

Bonjour et désolé d'avoir oublié de donner la solution que Christophe m'a aidé à trouver.
Il s'agit de cette ligne dans celles générées par l'option 2.3 :

Après tests, c'est cette ligne de l'option 2.3 qui bloquait. Une fois neutralisée, le test aboutit :
SetEnvIfNoCase ^User-Agent$ .*(cosmos|crescent|curl|custo|da|diibot|disco|ditt ospyder|dragonfly).* HTTP_SAFE_BADBOT

[Hamid71]

Bonjour,

le problème se situe au niveau du fichier htaccess

il faut enlever toute cette partie :

<IfModule mod_setenvif.c>
SetEnvIfNoCase ^User-Agent$ .*(aesop_com_spiderman|ahrefsbot|alexibot|backweb| bandit|batchftp|bigfoot).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(black.?hole|blackwidow|blowfish|botalot|buddy|b uiltbottough|bullseye).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cheesebot|cherrypicker|chinaclaw|collector|copi er|copyrightcheck).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cosmos|crescent|curl|custo|da|diibot|disco|ditt ospyder|dragonfly).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(drip|easydl|ebingbong|ecatch|eirgrabber|emailco llector|emailsiphon).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(emailwolf|erocrawler|exabot|eyenetie|filehound| flashget|flunky).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(grafula|harvest|hloader|hmview|httplib|httrack| humanlinks|ilsebot).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(infonavirobot|infotekies|intelliseek|interget|i ria|jennybot|jetcar).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(joc|justview|jyxobot|kenjin|keyword|larbin|leec hftp|lexibot|lftp|libweb).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(likse|linkscan|linkwalker|lnspiderguy|lwp|magne t|mag-net|markwatch).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mata.?hari|memo|microsoft.?url|midown.?tool|mii xpc|mirror|missigua).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mister.?pix|mj12bot|moget|mozilla.?newt|namepro tect|navroad|backdoorbot|nearsite).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(net.?vampire|netants|netcraft|netmechanic|netsp ider|nextgensearchbot).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(attach|nicerspro|nimblecrawler|npbot|octopus|of fline.?explorer).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(offline.?navigator|openfind|outfoxbot|pagegrabb er|papa|pavuk).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(pcbrowser|php.?version.?tracker|pockey|propower bot|prowebwalker).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(psbot|pump|queryn|recorder|realdownload|reaper| reget|rogerbot|true_robot).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(repomonkey|rma|internetseer|sitesnagger|siphon| slysearch|smartdownload).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(snake|snapbot|snoopy|sogou|spacebison|spankbot| spanner|sqworm|superbot).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(superhttp|surfbot|asterias|suzuran|szukacz|take out|teleport).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(telesoft|the.?intraformant|thenomad|tighttwatbo t|titan|urldispatcher).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(turingos|turnitinbot|urly.?warning|vacuum|vci|v oideye|whacker).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(widow|wisenutbot|wwwoffle|xaldon|zeus|zyborg|an onymouse).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*web(zip|emaile|enhancer|fetch|go.?is|auto|bandit |clip|copier|master|reaper|sauger|site.?quester|wh ack).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(craftbot|download|extract|stripper|sucker|ninja |clshttp|webspider|leacher|collector|grabber|webpi ctures).* HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spidermano).* HTTP_SAFE_BADBOT
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
Deny from env=HTTP_SAFE_BADBOT
</Limit>
</IfModule>

[RobertG]

C'est très curieux. Alors que je ne trouve nulle part de blocage par aeSecure de ces adresses en 66.249, la désactivation de la protection redonne accès à l'outil de test.
Je ne sais pas où chercher le paramètre qui expliquerait ce blocage, puisque je n'ai rien trouvé dans le .htaccess
J'ai interrogé Christophe sur son forum.

[RobertG]

Bonjour à tous !

Depuis quelques temps, impossible de tester mes trois sites "pro" et certains de mes sites personnels, alors que d'autres ne posent pas de problème.
Si je teste fontanil.info ou joomxtensions.com, l'outil affiche un pop-up d'erreur :

L'URL était introuvable. Assurez-vous que le nom de domaine est correct et que le serveur répond avec un code d'état 200.

Je ne vois pas ce qui empêcherait le serveur de renvoyer un code d'état 200.
Et dans les logs, je vois :

[Thu Mar 29 16:47:43 2018] [error] [client 66.249.81.41] client denied by server configuration

Mais je ne trouve pas de .htaccess qui bloquerait cette IP.

si quelqu'un a une idée...
Merci d'avance,
Robert

Complément : dans le fichier log, code 403 :

66.249.81.41 - - [29/Mar/2018:16:47:43 +0200] "GET / HTTP/1.1" 403 447 "-" "Mozilla/5.0 (compatible; Google-Structured-Data-Testing-Tool +https://search.google.com/structured-data/testing-tool)"

Et plus d'erreur pour le site robertg-conseil.fr alors qu'il y en avait une un peu plus tôt.