Googlebot

Il demande des pages, lit leur code, relève les liens et les met en file d’attente. Sur les pages qui en dépendent, il exécute le JavaScript dans un second temps.

Il ne décide pas de l’indexation. Explorer et indexer sont deux étapes distinctes, ce qui explique qu’une page visitée puisse ne jamais apparaître dans les résultats. Le détail est traité côté faire indexer une page.

Il ne se connecte pas. Tout ce qui est derrière une authentification lui est invisible.

Il ne remplit pas de formulaire et ne déclenche pas les actions du visiteur.

C’est un contrôle utile, car de nombreux robots se déclarent Googlebot pour contourner les protections.

La déclaration d’identité n’est pas une preuve : n’importe qui peut l’écrire. La vérification passe par l’adresse d’origine de la requête, qui doit appartenir aux plages publiées par Google. Une résolution inverse puis directe du nom permet de confirmer.

Ce contrôle a une conséquence pratique : bloquer un faux Googlebot qui aspire vos contenus est sans risque, à condition d’avoir vérifié.

Les journaux du serveur sont la seule source qui dise exactement ce que Google a visité, à quelle fréquence, et avec quel code de réponse.

Quatre lectures en valent la peine. La répartition entre pages et ressources, qui montre où part l’exploration. La fréquence par type de page, qui révèle les zones négligées. Les codes renvoyés, où les erreurs et les redirections consomment du budget. Et les adresses visitées qui n’auraient jamais dû l’être, comme les combinaisons de filtres.

Cette analyse est le cœur du travail sur le budget de crawl.

Le fichier robots autorise ou interdit des chemins, et Googlebot le respecte.

La vitesse d’exploration s’ajuste seule selon les temps de réponse du serveur : un serveur lent fait baisser le rythme. Améliorer les temps de réponse est donc la façon la plus directe de faire explorer davantage.