Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection 301 ?

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Not dead mais je n'avais pas vu.

1 = Des fichiers en 404, donc soit plus sur ton site ou qui ont changés de chemin, pas important.

2 = C'est quoi ce index2.php ?
C'est normal que ca ne marche pas, Index.php est réécrit, mais pas index2, de plus c'est une chaine de requete (?)
Il te faut d'abord réécrire le index2.php, le virer, et réécrire la chaine de requete.
File not found c'est une 404
Ca m'étonnerai que ce soit joomla ou virtuemart qui t'ai pondu ces url foireuses...

Pas trop le temps pour tester mais ca devrait le faire :
A toi de modifier si tu veux rediriger plusieurs url en meme temps vers la même page.

RewriteCond %{QUERY_STRING} ^page=shop.product_details&flypage=flypage.tpl&product_id=18&category_id=12&option=com_virtuemart&Itemid=63$
RewriteRule ^(.*)$ http://www.tonsite.com? [R=301,L]

RewriteCond %{REQUEST_URI} ^/index2\.php/
RewriteRule ^index2.php/(.*) /$1 [R=301,NE,L]

Franchement bing et yahoo...euh...je ne le ferai pas mais si tu as le temps et l'envie.

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Ca m'étonnerai que ce soit joomla ou virtuemart qui t'ai pondu ces url foireuses...

Pourquoi ? Pourtant je suis à peu près sûr que ca venait de mon site 1.5 avec virtuemart, je vois pas comment elles peuvent avoir apparu par mystère ?
Enfin bon c'est du passé.

RewriteCond %{REQUEST_URI} ^/index2\.php/
RewriteRule ^index2.php/(.*) /$1 [R=301,NE,L]

J'ai noté ta redirection pour le .htaccess, j'ai déjà fait une manip similaire pour tous les liens qui contenait du "shopbrowse" et autres mots repérables sur les miliers de liens générés par joomla 1.5 sur mon ancien site (il y avait plus de 500 urls générées sous search console alors que je devais en avoir au max 120 sur l'ancien site...)

Ok pour yahoo et bing. En gros il faut que j'attende quelques semaines et la situation devrait finir par se calmer je suppose.

Merci encore pour ton aide

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

J'ai essayé d'ajouter ta ligne dans mon .htacces, ca donne donc au total

RewriteBase /
RewriteRule ^((.*)flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)shopbrowse(.*))$ http://www.terredegraines.fr/boutique [R=301,L]
RewriteCond %{REQUEST_URI} ^/index2\.php/
RewriteRule ^index2.php/(.*) /$1 [R=301,NE,L]

Bon, maintenant si je clique sur le lien foireux, ca marche pas... c'est normal docteur ?

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Sans doute qu'elles venaient de ton ancien site, des url non réécrites en SEF.
Elles ne sont pas apparues par hasard, joomla ou virtuemart ne te sort pas des url foireuses.
C'est google qui te rappelle à l'ordre.
Google a du crawler a l'époque ton site avec des url non reecrites, et il garde les pages en cache/indexées trèèèèès longtemps en 404 ou tant qu'il ne voit pas une noindex dessus.
Avant elles étaient accessibles, donc tu ne t'en rendais pas compte, aujourd'hui il te les remonte en 404 car elles ne sont plus accessibles, changement de version, etc.
La logique aurait été de s’occuper de tout ca avant, lister de manière exhaustive toutes les url, faire la migration sur un site de dev, faire toutes les redirections, puis quand OK le faire de prod.
T'es puni

Désolé j'ai bugué tout à l'heure, pas besoin de reecrire le index2

RewriteBase /
RewriteRule ^((.*)flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)shopbrowse(.*))$ http://www.terredegraines.fr/boutique [R=301,L]

RewriteCond %{QUERY_STRING} ^page=shop.product_details&flypage=flypage.tpl&product_id=18&category_id=12&option=com_virtuemart&Itemid=63$
RewriteRule ^(.*)$ http://www.tonsite.com? [R=301,L]

PS: vraiment pas une bonne idée de permettre aux bots de crawler des pages que tu ne veux pas voir indexer, qui plus est des 404....
Tu devrais je pense éditer tes messages et brises tous tes liens avec un tiret du 6 :
-http://www.terredegraines.fr/index2.php?page=shop.product_details&flypage=flypa ge.tpl&product_id=18&category_id=12&option=com_vir tuemart&Itemid=63
De plus on ne parle pas de bijoux en graines végétales ici (backlink pas top....)

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Oui, je reconnais il y avait tellement de liens foireux, j'ai pris les principaux les plus visités, pour les 480 autres liens je savais que ca tomberait sur du 404. Le souci est que là le lien avec index2.php ca tombe pas sur du 404 mais sur une page "file not found" (tu as essayé de cliquer dessus ?)...
Les 404 et bien au final ca finira par être désindexé, je les supprime en masse sous la console et ca commence à faire son effet quand je regarde les pages indexées maintenant c'est surtout celles qui correspondent à mon sitemap.

Alors si je reprend ton Rewritecond, non j'ai pas oublié, mais toi tu me propose une solution uniquement pour ce lien foireux, moi j'ai peut être 30 urls qui commencent par index2.php... et j'aimerai toutes les rediriger vers le site de base. Ca marche bien pour les liens qui contiennent flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)sho pbrowse(.*
et ca marche super d'ailleurs, par contre si je mets index2 dans ce truc, ca marche pas.
Et ta solution si elle est valable que pour un lien ca sert pas à grand chose, puisque je sais même pas ou retrouver tous ces liens foireux...

PS ok tu as raison pour les messages, j'ai édité les liens foireux

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

J'ai édité mon message juste avant que tu répondes pour le index2 (pas besoin il est déja reecrit dans la regle avec la chaine de requete).

Bon ca ca va rediriger toutes les chaines de requête qui ont ce schema, peut importe les chiffres :

RewriteCond %{QUERY_STRING} ^page=shop.product_details&flypage=flypage.tpl&product_id=[0-9]+&category_id=[0-9]+&option=com_virtuemart&Itemid=[0-9]+$
RewriteRule ^(.*)$ http://www.tonsite.com? [R=301,L]

Si tu as d'autres schemas je ne peut pas les inventer il faut me donner des exemples.

Pour file not found, quand tu es sur la page, onglet reseau sur firebug, ctrl+f5 => code http 404

Ca va être un long travail sur plusieurs mois pour la desindexation.

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Bon ca ca va rediriger toutes les chaines de requête qui ont ce schema, peut importe les chiffres :
....

Alors donc j'ai maintenant ca dans mon htaccess

RewriteBase /
RewriteRule ^((.*)flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)shopbrowse(.*))$ http://www.terredegraines.fr/boutique [R=301,L]
RewriteCond %{QUERY_STRING} ^page=shop.product_details&flypage=flypage.tpl&product_id=[0-9]+&category_id=[0-9]+&option=com_virtuemart&Itemid=[0-9]+$
RewriteRule ^(.*)$ http://www.terredegraines.fr? [R=301,L]

et.... ca marche toujours pas

Bon en fait j'avais déjà fait un essai dans ce genre tout simplement en ajoutant dans ma premiere RewriteRule des mots comme "virtuemart". D'ailleurs tu remarques que dans le lien foireux, il y a justement un "flypage", qui n'est pourtant pas redirigé alors que si tu entres une url foireuse au hasard avec dedans le mot "flypage" (mais qui ne commence PAS par index.php ou index2.php) et bien ca redirige bien...

Donc ? Je suppose que le souci vient de la présence de index.php ou index2.php, mais là bizarrement impossible de rediriger, je sais pas si joomla prend le dessus, bref pas compris ca...

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Olé...

RewriteBase /
RewriteRule ^((.*)flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)shopbrowse(.*))$ http://www.terredegraines.fr/boutique [R=301,L]

#décommentes les deux lignes en dessous si ca ne marches toujours pas
#RewriteCond %{REQUEST_FILENAME} !-f
#RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^/index2\.php/
RewriteRule ^index2.php/(.*) /$1 [R=301,L]

RewriteCond %{QUERY_STRING} ^page=shop.product_details&flypage=flypage.tpl&product_id=[0-9]+&category_id=[0-9]+&option=com_virtuemart&Itemid=[0-9]+$
RewriteRule ^(.*)$ http://www.terredegraines.fr? [R=301,L]

Si ca ne marche pas je ne sais pas pourquoi....

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Merci d'avoir pris tout ce temps Tony, bon en fait ca ne marche toujours pas, mais ce n'est pas très grave, google finira bien par comprendre que c'est 404 et basta.
De toute facon avec mon référencement j'en suis au tout début, il faut d'abord que je m'occupe de trouver des visiteurs (et un jour peut être des acheteurs

A bientot

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

J'ai relu....et j'ai bien fait je crois, j'ai fait nawak

Relis ton message #14 ! Regardes le lien que t'as inséré.

http://forum.joomla.fr/showthread.php?213228-Desindexer-de-vieilles-url-des-moteurs-de-recherche-robot-txt-ou-redirection-301&p=1084447&viewfull=1#post1084447

Il y a un slash à la fin de index2.php, avant la chaine de requete, qui m'a induit en erreur.

Dans une regle

index2.php n'est pas pareil que index2.php/, comme il ne matche pas la condition il n'applique pas la regle.

Donc la règle pour le index2.php n'est pas ce que je t'ai mis.

De plus j'avais oublié d'échapper les points

Donc en toute logique :

RewriteBase /
RewriteRule ^((.*)flypage(.*)|(.*)Erreur(.*)|(.*)shopask(.*)|(.*)shopbrowse(.*))$ http://www.terredegraines.fr/boutique [R=301,L]

#décommentes les deux lignes en dessous si ca ne marches toujours pas
#RewriteCond %{REQUEST_FILENAME} !-f
#RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{QUERY_STRING} page=shop\.product_details&flypage=flypage\.tpl&product_id=[0-9]+&category_id=[0-9]+&option=com_virtuemart&Itemid=[0-9]+
#si les url sont bien avec un slash apres index2.php ajoutes le ci dessous comme ca ^index2\.php/$
RewriteRule ^index2\.php$ http://www.terredegraines.fr? [L,R=301]

Devrait fonctionner...
Sinon ben...

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

bon... ca marche toujours pas. Je regardais en fait peut être ca vient aussi de la condition QUERY_STRING trop restrictive. Il me semble qu'on peut rediriger tout ce qui contient le mot "virtuemart" en lien avec un index.php ou index2.php.
Le lien foireux pour mémoire c'était celui là

/index2.php/?page=shop.product_details&flypage=flypage.tpl&product_id=18&category_id=12&option=com_virtuemart&Itemid=63

D'ailleurs je comprend toujours pas pourquoi il est pas redirigé par la premiere condition puisqu'il contient le mot "flypage"... c'est comme si la présence de index2.php changeait la donne.

[-Tony-]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

Ben tant pis, peut-etre que quelqu'un saura trouver le truc ?

Essayes sur le forum webrankinfo aussi, rubrique url rewriting et htaccess.

Normalement la règle devrait fonctionner, la synthaxe est bonne amha.

Mais oui, le serveur bloque sur le index2.php.

En fait il cherche un fichier (index2.php) en premier et non pas une chaine de requete.

C'est pour ca je pense qu'il délivre ce file not found avant que joomla ne detecte l'erreur 404 et redirige vers la page 404.

Je n'ai jamais été confronté a ce problème donc je ne saurais t'aider plus.

M'enfin ca m'énerve postes la réponse ici quand tu l'auras.

Ok alors c'était bien avec le slash de fin.

[lefabdu51]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

https://support.google.com/webmasters/answer/2648487?hl=fr

un element de reponse à ton besoin.

[romainduf]

Re : Desindexer de vieilles url des moteurs de recherche -> robot.txt ou redirection

https://support.google.com/webmaster.../2648487?hl=fr
un element de reponse à ton besoin.

Merci pour le lien, je connaissais déjà, ce n'est pas vraiment le souci dans mon cas : très peu de sites référents (et oui pas le temps de faire assez de com...) et les liens référencés sont bien redirigés. Il s'agit uniquement de souci de vieux liens foireux générés par joomla en version 1.5 et récemment en 3.45 avec un souci de cache.
Ca s'apaise peu à peu, mais je pense avoir encore un paquet de 404 pendant les prochaines semaines.