Voici le comportement de GoogleBot s’il n’arrive pas à accéder à votre fichier robots.txt
Comme vous pouvez le constater, il est préférable d’être rapidement informé si le fichier robots.txt n’est pas crawlable.
Comment monitorer le fichier robots.txt gratuitement ?
Il s’agit d’une fonctionnalité proposée gratuitement sur Oseox Monitoring.
Il suffit de prendre 1 minute afin de créer un compte.
