Indexée malgré le blocage par le fichier robots.txt

[nano]

Je pensais avoir corrigé ce problème, mais finalement l'erreur me revient de la part de Google.

Pourtant, j'ai mis en place un lien de menu "recherche" où je lui ai appliqué un noindex, nofollow et qui n'est pas affiché publiquement.

Dans mon robots.txt, j'ai ajouté cette ligne :
Disallow: /index.php?option=com_search

J'ai installé et activé le plugin NSTS - Non-SEF to SEF conseillé par daneel .

Si je vais sur ma page de recherche qui est appelé par le lien de menu que j'ai mis en place et que je visionne le code source, j'ai bien cette balise :
<meta name="robots" content="noindex, nofollow" />

Si je vais sur la page que m'indique Google "component/search/?searchphrase=all&amp;searchword={search_term}", je n'ai pas cette balise.

J'ai essayé de créer une redirection de la page indiquée par Google via la page du lien de menu que j'ai crée, en vain...

Petite précision : les directives du robots.txt empêche le crawl de la page, pas son indexation. Si vous voulez vraiment empêcher cette dernière, vous devez mettre "noindex" comme "meta robots" dans l'en-tête de la page.

jfque Comment faire cela, sur une page que je ne maîtrise pas ?

Merci de votre aide.

[jfque]

Comme le dit Yann plus haut, il faut faire attention lorsqu'on bloque les robots. Voici ce que dit Google à ce sujet :

Important : pour que la directive noindex soit efficace, la page ne doit pas être bloquée par un fichier robots.txt. Si la page est bloquée par un fichier robots.txt, la balise noindex n'est pas détectée par le robot d'exploration, et la page peut encore s'afficher dans les résultats de recherche, par exemple si d'autres pages contiennent des liens vers celle-ci.

Donc la manière correcte de procéder est de mettre (via le lien de menu) une balise "noindex" sur les pages qu'on ne veut pas ou peut pas indexer (Google demande expressément que ne soient pas indexées les pages de résultats de recherche). Parce que si elles sont déjà présentes dans l'index, elles n'en seront supprimées que si elles retournent une erreur 404 ou 410.

Donc dans votre cas, ce qu'il faut faire c'est :

• Supprimer l'instruction Disallow du fichier robots.txt
• Vous assurer que la page en question (et éventuellement d'autres) possèdent bien la balise noindex
• Demander la suppression de l'index de l'URL signalée par Google (cela se fait dans la Search Console)