Directement de Google:
Les balises Meta sont un excellent moyen pour les webmasters de fournir aux moteurs de recherche des informations sur leurs sites. Les balises Meta peuvent être utilisées pour fournir des informations à toutes sortes de clients, et chaque système ne traite que les balises méta qu'il comprend et ignore le reste.
Si vous souhaitez bloquer totalement tous les moteurs de recherche:
Pourquoi?
C'est peut-être une URL quelque peu privée sur votre site, mais non protégée de telle sorte qu'un robot de recherche ne puisse pas la voir. Comme si une page nécessite une connexion pour la voir, elle est de toute façon bloquée par un robot de recherche. Mais s'il ne s'agit que d'une URL obscurcie, qui sait comment les robots de recherche se déplacent, vous voudrez peut-être empêcher l'indexation.
Les résultats de recherche en sont un autre courant. Bizarre d'avoir un résultat de recherche comme résultat de recherche, peut-être. Les thèmes WordPress ont tendance à inclure ceci:
Je pourrais modifier un peu cela et dire aux bots, hé, vous pouvez suivre les liens ici pour aider à continuer à indexer le site, mais n'indexez pas cette page spécifiquement.
Autres
Les moteurs de recherche ont tendance à utiliser la balise de description pour le contenu textuel à côté de :
Consultez la page Google pour d'autres fonctionnalités spécifiques à Google, telles que la possibilité d'arrêter les éléments d'interface utilisateur spécifiques à Google, tels que leur "champ de recherche de lien de site".