Si vous monitorez beaucoup de sites sur la même IP vous pouvez configurer pour chaque site des heures de crawl différentes
Pour SITEMAP, HTTP, MONITORING et WEBPERF il est possible de choisir l’heure de lancement du crawl.
- Vous pouvez configurer le crawl d’une 1 site chaque heure c’est à dire 1 site à minuit, 1 site à 1H, 1 site à 2H etc.
- Vous pouvez exécuter les outils des jours différents. 1 outil le lundi, un autre le mardi, etc
Notre crawler SENTINEL est par défaut volontairement lent. 1 URL par seconde, seulement 1 thread et un site après l’autre.
ALERTING crawle chaque heure, il est recommandé de mettre seulement quelques pages par template.
Toutefois, ALERTING comme MONITORING crawlent les URL d’un site les unes après les autres avec seulement 1 thread. Ce qui reste assez doux…
Si vous avez beaucoup de sites, il faut éviter de mettre trop d’URL sur ALERTING et personaliser les heures de lancement de MONITORING afin que rien ne se chevauche.
Avec l’ensemble de ces tips, votre serveur devrait tenir le coup très facilement.
A titre de comparaison, rappelez-vous que le crawler le plus populaire du marché crawle 2URL/S et lance 5 threads !
