X-Robots-Tag

Il accepte les mêmes valeurs : noindex, nofollow, noarchive, nosnippet, et les directives qui limitent la longueur des extraits.

Trois choses que la balise meta ne peut pas faire.

Agir sur les fichiers non HTML. Un PDF, une image, une feuille de calcul n’ont pas d’en-tête HTML où poser une balise. L’en-tête HTTP est le seul moyen de leur appliquer une consigne. C’est le cas d’usage principal, et il est fréquent sur les sites qui publient des documents.

Appliquer une règle à un ensemble. Une règle serveur peut viser tous les fichiers d’un type ou d’un répertoire, sans toucher à chaque page.

Agir sans modifier le contenu. Utile quand le système de gestion de contenu ne permet pas d’insérer une balise, ou quand la modification demanderait un déploiement.

Sur un serveur Apache, dans la configuration ou le fichier .htaccess, en ciblant les fichiers concernés.

Sur Nginx, dans le bloc de configuration du serveur.

Sur un hébergement mutualisé sans accès à la configuration, il reste souvent possible par le fichier .htaccess.

Il ne fonctionne que si le moteur peut lire la réponse.

Poser un X-Robots-Tag noindex et bloquer simultanément l’exploration dans le fichier robots empêche Google de recevoir l’en-tête. Le document reste indexé. L’ordre correct est le même que pour la balise noindex : laisser l’exploration ouverte, attendre la désindexation, puis bloquer si nécessaire.

Sur les documents téléchargeables qui n’ont pas vocation à se positionner : conditions générales, factures types, archives.

Sur les fichiers générés en masse par une application.

Sur les environnements de préproduction, où il complète l’authentification plutôt qu’il ne la remplace : un site de test doit être protégé par mot de passe, pas seulement par une consigne aux robots.

Il ne protège rien. Un document en noindex reste accessible à qui connaît son adresse. La confidentialité passe par l’authentification.

Il ne règle pas non plus les doublons entre pages accessibles, sujet de la balise canonique.