Googlebot ne peut pas accèder à mon site

[arnaud2]

Bonjour
depuis quelques jours deja, googlebot n'arrive plus à acceder à mon site.
j'arrive pourtant bien à voir le fichier robots (monsite.no/robots.txt) lorsque que je verifie dans Google webmaster tool.

dans mon fichier robots.txt, j 'ai commenté la ligne images (# Disallow: /images/)

j'ai ajouté deux sitemaps l'un en anglais l'autre en norvegien:
Sitemap: http://monsite.no/Sitemap.xml
Sitemap: http://monsite.no/Sitemap-Eng.xml

dans le mail que je recois de GWT, il me dit que googlebot à rencontrer 20 errors en essayant d acceder au robots
comment puis je trouver ses errors ?

quelque peut il m'aider, svp ?

merci

[toffffe]

Re : Googlebot ne peut pas accèder à mon site

Salut
C'est le robot.txt natif de joomla ?
Si c'est le cas au lieu de commenter, essais de supprimer simplement cette ligne qui demande de ne pas indexer les images au lieu de la commenter
As-tu les bons droits dessus

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Salut
C'est le robot.txt natif de joomla ?
Si c'est le cas au lieu de commenter, essais de supprimer simplement cette ligne qui demande de ne pas indexer les images au lieu de la commenter
As-tu les bons droits dessus

Bonjour
Merci de votre reponse.
Oui c est le fichier natif de joomla
je vais supprimer cette ligne.
quand vous demandez à propos des droits, s agit il du fichier robots.txt?
si c est le cas, lorsque je suis sur filezilla je vois qu il a le droit 0644
est ce le bon droit pour ce fichier ?

[cavo789]

Re : Googlebot ne peut pas accèder à mon site

Bonjour

Oui, c'est le bon droit (chmod). 644 pour que Google puisse y accéder.

Si tu parviens à accéder à ton fichier depuis l'interface GWT, je ne vois pas pourquoi le bot n'y arrive pas automatiquement.

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Bonjour

Oui, c'est le bon droit (chmod). 644 pour que Google puisse y accéder.

Si tu parviens à accéder à ton fichier depuis l'interface GWT, je ne vois pas pourquoi le bot n'y arrive pas automatiquement.

Merci de votre reponse

quand je clique sur l outil de test du fichier robots.txt dans GWT, on me dit "ECHEC de l'exploration du fichier robots.txt"
quand je clique sur Fermer de cette boite de dialogue, la derniere version vue est un echec mais il ya aucune erreur et aucun avertissement.
quand je clique sur Afficher le fichier robots.txt en ligne, je parviens à voir le contenu du fichier
quand je fais un test d'une url du site , on me met 'AUTORISEE' en vers

Par contre sur l onglet Sitemaps, j ai 7 avertissements url inaccessible (meme url)

description de l'averissement:
"Lors du test d'un échantillon des URL de votre sitemap, nous avons constaté que certaines des URL n'étaient pas accessibles. Ce problème pouvant provenir d'une erreur de serveur (par exemple, une erreur 5xx) ou d'une erreur de réseau entre Googlebot et votre serveur, nous vous conseillons de vérifier la configuration de votre serveur Web. Toutes les URL accessibles seront envoyées."

mais quand je clique sur l'url indiquée comme inaccessible, je parviens bien à la page correspondante

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Bonsoir
j'aimerai savoir si le fait d avoir des balises title en double et des balises meta description en double, est ce que cela peut etre la raison que googlebot n arrive pas à acceder a mon site?

[cavo789]

Re : Googlebot ne peut pas accèder à mon site

Bonjour

j'aimerai savoir si le fait d avoir des balises title en double et des balises meta description en double, est ce que cela peut etre la raison que googlebot n arrive pas à acceder a mon site?

La réponse à cette question est : non.

Pourquoi as-tu cela en double ? Une seule fois est bien suffisant.

[PieceOfCake]

Re : Googlebot ne peut pas accèder à mon site

Bonjour,

peut on connaître ton hébergeur, j'ai eu le même souci à deux reprises avec le mien (Siteground), ça a duré à chaque fois 2 ou 3 jours et rien à faire, je n'arrivai pas à trouver une solution. Pour finir, ça provenait de leur CDN, après contact et une manip de leur part, plus eu le souci (ça va faire 2 mois maintenant, croisons le doigts )

Cordialement

[chabi01]

Re : Googlebot ne peut pas accèder à mon site

Piste importante : tu signales une erreur "5xx", c'est une erreur 500 ?
Si ton site ne répond pas au moment où le robot se présente, alors il y a une erreur de renvoyé...
Si c'est bien une erreur 500, le problème ne vient pas de ton robot.txt mais soit d'un souci sur ton site, soit d'un souci avec ton hébergement.

Quelle est l'erreur renvoyée ? Peux-tu nous fournir l'url de ton site ?
Cordialement,

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Piste importante : tu signales une erreur "5xx", c'est une erreur 500 ?
Si ton site ne répond pas au moment où le robot se présente, alors il y a une erreur de renvoyé...
Si c'est bien une erreur 500, le problème ne vient pas de ton robot.txt mais soit d'un souci sur ton site, soit d'un souci avec ton hébergement.

Quelle est l'erreur renvoyée ? Peux-tu nous fournir l'url de ton site ?
Cordialement,

BOnjour
Merci de votre reponse
l url du site est languagepower.no.
ci dessous voila le message (erreur renvoyée) que je recois concernant l'erreur 5XX, cela s affiche dans l onglet sitemaps (GWT)
""Lors du test d'un échantillon des URL de votre sitemap, nous avons constaté que certaines des URL n'étaient pas accessibles. Ce problème pouvant provenir d'une erreur de serveur (par exemple, une erreur 5xx) ou d'une erreur de réseau entre Googlebot et votre serveur, nous vous conseillons de vérifier la configuration de votre serveur Web. Toutes les URL accessibles seront envoyées.""

Le site a ete hebergé en Norvege; l hebergeur est Uniweb

je constate que le nbre de page web dans indexé sont entrain d etre reduit. cela devient inquiétant.

Que puis je faire?

[chabi01]

Re : Googlebot ne peut pas accèder à mon site

Je viens de regarder ta page : 3 Mo, temps de chargement 10 à 16 secondes, des fichiers appelés qui amènent à des erreurs 404, des appels javascript un peu partout...

Commence par optimiser ta page.

En faisant un simple test sur GTMetrix, les résultats sont parlants :
Test page Speed : F (A:meilleur résultat, Fire résultat)
Test Yslow : D
Poids de la page : 2.66Mo
Temps de chargement : 9.78secondes
Nombre de requêtes : 154 (!!)

Si ton site ne réponds pas suffisamment rapidement lorsqu'un robot arrive dessus, tu vas forcément avoir des résultats médiocres et des erreurs.
Il y a déjà plusieurs années, on considérait qu'une page se chargeant en plus de 8 secondes n'étaient pas consultée (les visiteurs pensant que "le site ne répond pas, il est planté"). Cette règle est toujours à respecter au mieux...
Ton site est par ailleurs responsive, donc tu considères qu'il peut être visualisé sur un mobile : avec un tel poids de page, cela risque de freiner les consultations via smartphone....

Cordialement,

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Je viens de regarder ta page : 3 Mo, temps de chargement 10 à 16 secondes, des fichiers appelés qui amènent à des erreurs 404, des appels javascript un peu partout...

Commence par optimiser ta page.

En faisant un simple test sur GTMetrix, les résultats sont parlants :
Test page Speed : F (A:meilleur résultat, Fire résultat)
Test Yslow : D
Poids de la page : 2.66Mo
Temps de chargement : 9.78secondes
Nombre de requêtes : 154 (!!)

Si ton site ne réponds pas suffisamment rapidement lorsqu'un robot arrive dessus, tu vas forcément avoir des résultats médiocres et des erreurs.
Il y a déjà plusieurs années, on considérait qu'une page se chargeant en plus de 8 secondes n'étaient pas consultée (les visiteurs pensant que "le site ne répond pas, il est planté"). Cette règle est toujours à respecter au mieux...
Ton site est par ailleurs responsive, donc tu considères qu'il peut être visualisé sur un mobile : avec un tel poids de page, cela risque de freiner les consultations via smartphone....

Cordialement,

Merci de ta reponse.

as tu une idée a me donner
comment je peux optimiser mes pages?
est ce que je peux utiliser ce genre de plugin:
-ETag
-Expires headers
-AddOutputFilterByType DEFLATE

tout conseil et propositions sont les bienvenues pour pouvoir optimiser les pages et ameliorer la vitesse de chargement

[chabi01]

Re : Googlebot ne peut pas accèder à mon site

Bonjour,
fais un test sur gtmetrix : tu auras plusieurs lignes de résultats qui te permettront d'avoir la listes des éléments demandant à ce que tu te penches dessus.
Sur le total à charger, tu as 1.7 Mo d'images et presque 1 Mo de script.
Il faut déjà que tu fasses des choix au niveau de tes images et surtout que tu les optimises.
Dans ton slider, chaque image fait plus de 100Ko. A toi de voir si tu peux optimiser ça.
Ensuite, tu as des images qui sont redimensionnées à l'écran en tout petit mais pas au niveau de leur poids. Par exemple, la couverture du livre "Det Gar Bra" est une image de 273 Ko (plus qu'une image de ton slider !), qui fait 995 px sur 1402 et que tu as redimensionné à 130x183px !
Il te faut déjà commencer par travailler là dessus.
Les optimisations avec des plugins, c'est bien...sauf que tu charges un ou plusieurs plugins de plus sur ton site...

Au risque de répéter ce qui a déjà été écrit des centaines de fois, utilises Firebug sous Firefox et regarde ce que renvoie l'onglet "Réseau", cela te donne des informations précieuses.
Par exemple, les lignes en rouge sont des éléments qui sont appelés et qui ne sont pas trouvés : tu perds du temps à les charger plusieurs fois, tu ralentis tes pages, et en plus, les moteurs n'aiment pas trop

Cordialement,

[arnaud2]

Re : Googlebot ne peut pas accèder à mon site

Bonjour,
fais un test sur gtmetrix : tu auras plusieurs lignes de résultats qui te permettront d'avoir la listes des éléments demandant à ce que tu te penches dessus.
Sur le total à charger, tu as 1.7 Mo d'images et presque 1 Mo de script.
Il faut déjà que tu fasses des choix au niveau de tes images et surtout que tu les optimises.
Dans ton slider, chaque image fait plus de 100Ko. A toi de voir si tu peux optimiser ça.
Ensuite, tu as des images qui sont redimensionnées à l'écran en tout petit mais pas au niveau de leur poids. Par exemple, la couverture du livre "Det Gar Bra" est une image de 273 Ko (plus qu'une image de ton slider !), qui fait 995 px sur 1402 et que tu as redimensionné à 130x183px !
Il te faut déjà commencer par travailler là dessus.
Les optimisations avec des plugins, c'est bien...sauf que tu charges un ou plusieurs plugins de plus sur ton site...

Au risque de répéter ce qui a déjà été écrit des centaines de fois, utilises Firebug sous Firefox et regarde ce que renvoie l'onglet "Réseau", cela te donne des informations précieuses.
Par exemple, les lignes en rouge sont des éléments qui sont appelés et qui ne sont pas trouvés : tu perds du temps à les charger plusieurs fois, tu ralentis tes pages, et en plus, les moteurs n'aiment pas trop

Cordialement,

Merci beaucoup Chabi01 pour tes explications et conseils
je vais commencer à ameliorer mes images d abord.
connais tu un logiciel qui optimise bien les images sans perdre leur qualités?

[cavo789]

Re : Googlebot ne peut pas accèder à mon site

Bonjour

connais tu un logiciel qui optimise bien les images sans perdre leur qualités?

Sous Windows, tu as RIOT pour les jpeg et PNGGauntlet pour les PNG.

Bonne journée;

(cette discussion dévie très fortement du sujet; je te préconise d'en créer une nouvelle et de clôturer celle-ci si ta question initiale est résolue)