Qu’est-ce que le « crawl budget »?

Il arrive fréquemment que Google, par l’intermédiaire de son responsable SEO communique avec les professionnels du web pour leur donner des indications sur la meilleure façon de gérer leurs sites web.

Le « crawl budget » (budget d’exploration) est un des derniers sujets abordé par Google. De quoi s’agit-il ?
Comment optimiser son site pour le rendre plus réactif au « crawl » ?

Tout sur le « crawl »

Le « crawl » d’un site web est l’intervention de Google qui consiste à explorer un site web pour indexer les pages de celui-ci. Pour se faire, Google dispose de robots crawlers appelés « Google Bots » qui vont « copier » les pages de votre site dans son immense base de données pour que celle-ci puissent figurer dans les résultats du moteur. Cette opération a lieu après la mise en ligne du site, puis de manière récurrente, selon une fréquence dépendante de nombreux critères.

Un site facile à crawler est un + pour Google. Pour que le site en question soit le plus rapide possible à parcourir il faut l’optimiser dans son grand ensemble.

Qu’est-ce que le « crawl budget » dans ce cas de figure précis ?
C’est la combinaison de plusieurs facteurs qui rendent l’accès à un site web plus simple et qui permettent de l’indexer plus rapidement.
Quels sont les critères retenus par Google pour faciliter le « crawl » des sites ?

Réduire le temps d’affichage d’un site web

Les préconisations de Google pour faciliter le « crawl » des sites web ne concernent pas tous les webmasters. Seuls les gros sites disposant de milliers d’urls et plus devront se pencher sur une problématique d’optimisation du               « crawl » de leur site web… Pour les autres, Google assure que dans la majorité des cas, l’exploration des sites web se fait correctement (cela ne dispense pas pour autant les plus petits sites d’avoir un site internet rapide en affichage).

La vitesse de chargement des pages d’un site est un des critères les plus importants. Lorsque Google parcourt les pages d’un site, il s’assure de ne pas nuire à l’expérience des internautes qui consultent le site, en ralentissant l’affichage des pages. C’est ce que nous pouvons appeler : « la limite de la vitesse d’exploration » puis, il définit une valeur maximale pour chaque site. Ainsi, un site lourd à charger sera défavorisé selon deux axes :

• Google risque de diminuer la fréquence du « crawl » et donc d’avoir une version du site pas souvent à jour dans son index.
• Un site qui met trop de temps pour s’afficher pourra être impacté au niveau de son référencement, Google diminuant la pertinence de celui-ci en termes de positionnement.

Des moyens techniques connus des webmasters (allègement du poids des images, exploitation du cache navigateur, fichiers JavaScript exploités à part du code…) permettent de réduire le temps d’affichage d’une page et donc son       « crawl ».

Popularité des pages et contenu éditorial soigné

Avoir un site avec beaucoup de pages populaires et bénéficiant d’un trafic important permet d’avoir une récurrence de « crawl » plus importante. Google à une nette tendance à revenir plus souvent sur ce type de pages à forte popularité pour les avoir à jour dans son index.

De la même manière, des pages présentant des défauts éditoriaux risquent d’être ignorées par les robots de Google, voire même de diminuer la fréquentation d’indexation du moteur.

Trop de pages sans contenu véritable, des pages d’erreur renvoyant un code 404 ou d’autres présentant du contenu dupliqué peuvent ralentir les rotations d’exploration d’un site web.

Un site présentant ce style de pages risque-t-il d’être déconsidéré par Google ?
Une diminution de la fréquence du « crawl » peut-elle entrainer des sanctions SEO ?

Si Google a déjà répondu par la négative, il convient de nuancer sa réponse, car les défauts mis en avant par le moteur pour justifier l’espacement du « crawl » sont tout de même de nature à diminuer la pertinence d’un site côté SEO (trop de pages d’erreur, contenu faible…).

Les statistiques de Google Search Console en matière de « crawl » (fréquence, temps passé sur le site) peuvent constituer une alerte précieuse qui indique une dégradation de la qualité SEO de votre site.

Elles ne doivent pas être négligées et même être surveillées périodiquement pour éviter toute dérive.