Votre site est lent ?
Votre site contient un très grand nombre de pages ?
Pire !
Votre site est lent ET gros ?
Pas de panique, il existe des solutions pour optimiser le crawl et aboutir à un monitoring efficace.
Accédez à la page de configuration de votre site lent et/ou gros en cliquant sur « Configurer » (la petite roue).
Attardez-vous sur la partie « options du crawler »
Plusieurs possibilités s’offrent à vous.
Augmenter le nombre de crawlers
Rob, notre robot possède une grande famille toujours disponible pour l’aider. Augmenter le nombre de crawlers augmentera très sensiblement la vitesse du crawl.
Il s’agit d’une bonne solution si par exemple vous recevez une notification indiquant que nous n’avons pas réussi à crawler toutes vos URL.
Bien entendu, votre serveur devra être capable de supporter la charge…
Modifier le temps d’attente
Crawler un site lent est plus coûteux car il mobilise les ressources de nos serveurs plus longtemps. Par défaut, nous attendons jusqu’à 30 secondes une réponse de votre serveur.
Pour accélérer le crawl, vous pouvez réduire le temps d’attente. Attention, cela peut augmenter le nombre d’erreurs si on crawle un jour où votre site est surchargé.
A contrario, si vous voulez limiter le nombre de notifications qui arrivent alors qu’il s’agissait en fait d’une erreur serveur temporaire ou parce que votre site est vraiment très lent, vous pouvez augmenter le temps d’attente.
Toutefois, lorsqu’un site met plus de 30s à répondre… le SEO devient un problème mineur non ?-)
Nombre d’essais
Si vous recevez des alertes pour des problèmes temporaires car votre site est lent ou sur-chargé, vous pouvez augmenter le nombre d’essais.
Par défaut, lorsqu’on repère un changement, nous allons re-vérifier 1 fois. Mais il est possible de demander plus de vérifications mais attention le temps de crawl sera beaucoup plus long…
Réduire ou augmenter le délai avant un nouvel essai
Il arrive qu’un site soit temporairement surchargé ou qu’un problème technique arrive en production suite à une mauvaise mise à jour.
Si notre robot arrive à ce moment là, vous allez surement recevoir des notifications. Par défaut, avant de vous avertir, nous re-crawlons l’URL 5 minutes après mais certains problèmes peuvent durer plus de 5 minutes.
Afin d’éviter ce type d’erreur, vous pouvez augmenter le délai d’attente et le passer à 10 ou 15 minutes par exemple.
Attention, vous serez alors prévenu moins rapidement et le temps de crawl sera beaucoup plus long !
Poids de la page HTML
Si le code source HTML est vraiment très lourd (plusieurs Mo), il est fort possible que notre crawler décide ou n’arrive pas à scrapper le contenu de l’URL à monitorer.
A priori, si vos pages pèsent plusieurs Mo (sans compter les images et ressources externes bien entendu), il y a certainement d’autres priorités que le SEO à régler 🙂
Conclusion
Comme nous venons de le voir dans cet article, il existe de nombreuses possibilités pour optimiser le crawl du gros site ou d’un site lent.
Le nombre d’url crawlées par seconde et le nombre de crawls total par jour peut donc varier d’un site à l’autre et d’un jour à l’autre en fonction de la rapidité de votre site, des erreurs rencontrées et de la configuration du crawler déterminée dans votre back office.
Oseox Monitoring et Oseox Sitemap permettent d’affiner les réglages de manière dédiée pour chaque site.
