probleme avec robots.txt

[arnaud2]

Bonjour
j'ai installé un nouveau site (avec joomla 2.5) sur un hebergeur tout va bien
je m assure que le site soit indexé par google grace a webmaster tools
et la je vois que "Nous n'avons pas pu explorer votre site en raison de l'impossibilité d'accéder au fichier robots.txt de ce dernier"
et je constate que le site est de moins en moins visiter par rapport à avant?

je crée un fichier sitemap et quand je fais le test sur webmaster tools je recois ce message d 'erreur
"Réseau inaccessible: Impossible d'atteindre robots.txt Nous n'avons pas été en mesure d'explorer votre sitemap. En effet, nous avons trouvé un fichier robots.txt à la racine de votre site mais nous n'avons pas pu le télécharger. Assurez-vous qu'il est accessible ou supprimez-le complètement."

alors que le fichier robots est bien dans la racine

A noté aussi que google m a envoyé un message comme quoi : googlebot n'arrive pas à acceder au site


quelqu un aurai une idée svp ?

Merci

[AlphaDesign]

Re : probleme avec robots.txt

Bonjour,

Vérifiez que votre fichier robots.txt soit bien accessible directement via cette URL http://votresite/robots.txt

[arnaud2]

Re : probleme avec robots.txt

Bonjour,

Vérifiez que votre fichier robots.txt soit bien accessible directement via cette URL http://votresite/robots.txt

bonjour
merci de votre reponse.
oui je l ai teste et je vois bien le contenu du fichier
je me demande si cela peut etre du au fait que le site est en 2 langues ?
mais pour le test j ai juste mis le nom de domaine/robots.txt car le fichier se trouve sur la racine

cela m embete bcp que googlebot n accede pas au site

[AlphaDesign]

Re : probleme avec robots.txt

cela m embete bcp que googlebot n accede pas au site

Oui c'est plus qu'embétant, peux-t-on avoir l' URL du site ?

[arnaud2]

Re : probleme avec robots.txt

Oui c'est plus qu'embétant, peux-t-on avoir l' URL du site ?

http://languagepower.no/no/

[electrocity]

Re : probleme avec robots.txt

Bonjour,
Peut être un soucis avec votre .htaccess?
De plus , dans robots.txt
Sitemap: http://languagepower.no/sitemap.xml
Le fichier sitemap.xml n'existe pas

[arnaud2]

Re : probleme avec robots.txt

Bonjour,
Peut être un soucis avec votre .htaccess?
De plus , dans robots.txt
Sitemap: http://languagepower.no/sitemap.xml
Le fichier sitemap.xml n'existe pas

bjr
merci de votre reponse
que devrais je mettre dans le fichier htaccess?
en effet le fichier sitemap.xml n existe pas sans doute parce j avai modifié le nom avec un S majuscule.
j 'ai donc supprimer celui qui etais dans google webmaster tools et j ai ajouté en preciscant le nom par

http://languagepower.no/Sitemap.xml (S majuscule)
webmaster tools la detecté mais c est mis en attente d'indexation

[AlphaDesign]

Re : probleme avec robots.txt

Strange, l'accès au robots.txt est ok cf http://www.frobee.com/robots-txt-check

Par contre pensez à supprimer la ligne :

Disallow: /images/

Pour que vos images puissent se faire indexer par Google

[AlphaDesign]

Re : probleme avec robots.txt

A noter aussi que le site est bien crawler par Google Bot comme le confirme ce lien : https://www.google.fr/search?q=site+...Fovx8APlnIHIBQ

[AlphaDesign]

Re : probleme avec robots.txt

Par contre dans la Sitemap.xml il manque toutes les URls en /en ...

[cavo789]

Re : probleme avec robots.txt

Aurais-tu mis en place un quelconque filtrage par adresses IP p.ex. ? Un firewall ?

Je ne vois pas la raison pour laquelle le fichier ne serait pas accessible...

[arnaud2]

Re : probleme avec robots.txt

Par contre dans la Sitemap.xml il manque toutes les URls en /en ...

Merci AlphaDesign pour l info a propos des images
en effet j ai utilisé xmap pour faire le sitemap(url "en" pour les pages du site en anglais) j ai bien coché les menus norvegien et en anglais mais à l interieur du fichier il n y que les pages norvegiens (url "no") qui y figurent.
avez vous une idée pour afficher les pages anglaises dans le sitemap? dois je creer un autre sitemap pour l anglais?

Concernant la question de cavo789 a propos d 'un quelconque filtrage par adrees ip
je n ai rien mis de tel sur le site. A moins que tu parles d'un firewall chez l hebergeur !?
rassure moi ce genre de filtrage c est bien sur un serveur qu on le met? ou bien est possible sue un site aussi?

[cavo789]

Re : probleme avec robots.txt

Bonjour

je n ai rien mis de tel sur le site. A moins que tu parles d'un firewall chez l hebergeur !?
rassure moi ce genre de filtrage c est bien sur un serveur qu on le met? ou bien est possible sue un site aussi?

Il est possible de blacklister des adresses IP ou des "referrer". Si tu l'avais fait, ma question aurait eu un écho; ce n'est pas le cas.

Si tu es certain que Google ignore ton robots.txt (tu peux t'en assurer grâce aux Google Webmaster Tools); je sèche.

[PieceOfCake]

Re : probleme avec robots.txt

Merci AlphaDesign pour l info a propos des images
en effet j ai utilisé xmap pour faire le sitemap(url "en" pour les pages du site en anglais) j ai bien coché les menus norvegien et en anglais mais à l interieur du fichier il n y que les pages norvegiens (url "no") qui y figurent.
avez vous une idée pour afficher les pages anglaises dans le sitemap? dois je creer un autre sitemap pour l anglais?

A part gérer un tel fichier manuellement, je crains qu'il n'y ait pas de solutions immédiates, le forum de xMap (http://www.jooxmap.com/forum.html) remonte régulièrement cette problématique. A part générer un sitemap manuel, il semble que ce ne soit tout simplement pas possible, même en créant plusieurs entrées dans Administration > Composants > xMap

Cordialement

[arnaud2]

Re : probleme avec robots.txt

Bonjour

Malheureusement pour moi le googlebot n accede toujours pas au site. ai encore recu ce message today
c est bizarre dans URL bloquées (dans GWT),sous la colonne url bloquées, on me met 12
quand je clique sur ? à coté de url bloquée, j ai ce texte Nous avons tenté d'explorer ces URL au cours des 90 derniers jours, mais nous avons été bloqués par le fichier robots.txt