Crawler web

La confusion est la source de la plupart des malentendus sur l’indexation.

L’exploration consiste à venir lire la page. L’indexation consiste à décider de la conserver et de la rendre candidate à l’affichage. Les deux étapes sont séparées, et une page peut être explorée sans jamais être indexée.

Cela explique deux situations qui paraissent contradictoires. Une page bloquée à l’exploration peut apparaître dans les résultats, sans description, parce que Google en connaît l’existence par les liens qui pointent vers elle. Et une page parfaitement accessible peut rester absente de l’index parce que Google l’a lue et n’a pas jugé utile de la garder.

Le détail des états et de leurs correctifs est sur la page faire indexer une page.

Trois mécanismes gouvernent son parcours, et ils expliquent pourquoi certaines pages ne sont jamais visitées.

Les liens. C’est le mode de découverte principal. Une page vers laquelle rien ne pointe est une page que le robot ne trouvera pas, sauf à la lui signaler explicitement.

La file d’attente et ses priorités. Le robot ne visite pas tout à la même fréquence. Les pages proches de l’accueil, souvent mises à jour et bien liées, sont revisitées régulièrement. Les autres attendent, parfois des mois. C’est ce que recouvre la notion de budget de crawl.

Les instructions du site. Le fichier robots.txt autorise ou interdit des chemins, et les en têtes de réponse peuvent préciser le traitement attendu. Ces instructions sont respectées par les robots des grands moteurs, ignorées par une partie des autres.

Googlebot lit d’abord le code source renvoyé par le serveur, puis exécute le JavaScript dans un second temps, avec un délai qui peut être important.

Trois conséquences pratiques en découlent.

Un contenu qui n’existe que dans le code source est vu immédiatement. Un contenu généré par JavaScript attend la seconde passe, et sur un site à faible priorité cette passe peut tarder.

Un lien construit en JavaScript sans attribut href n’est pas suivi. C’est une cause fréquente de pages inaccessibles au robot alors qu’elles sont parfaitement atteignables à la souris.

Un contenu chargé à la demande, au défilement ou au clic, n’est pas déclenché par le robot. Ce qui se trouve derrière un onglet ou un bouton peut ne jamais être lu.

C’est le contrôle technique le plus rentable, parce qu’il montre le site tel qu’un robot le reçoit plutôt que tel qu’il s’affiche.

Un crawl complet répond à cinq questions. Combien d’adresses le site propose réellement, chiffre qui dépasse souvent de beaucoup ce que son propriétaire croit avoir mis en ligne. Combien de clics séparent chaque page de l’accueil. Quelles pages ne reçoivent aucun lien interne. Quelles adresses répondent en erreur ou en redirection. Et quelles pages portent des titres, des descriptions ou des canoniques en double.

Ces cinq points forment le socle du volet technique d’un audit SEO, et ils se mesurent, ce qui évite de discuter d’une structure sur des impressions.

Tous les crawlers ne rendent pas service.

Les robots des outils d’analyse concurrentielle consomment des ressources sans contrepartie. Ils se limitent dans le fichier robots.txt quand la charge devient sensible.

Les copieurs de contenu se présentent souvent sous un nom d’apparence légitime. Le contrôle passe par les journaux du serveur et l’adresse d’origine des requêtes, un vrai Googlebot venant d’une plage d’adresses vérifiable.

Les robots des modèles de langage sont récents et posent une question de choix plutôt que de sécurité. Les bloquer préserve le contenu, les autoriser ouvre une visibilité dans les réponses générées. La décision se prend au cas par cas, pas par principe.