Il est possible que nos robots ne puissent accéder à vos URL pour différentes raisons.
Afin de vous assurer que nous pouvons crawler, pensez à whitelister notre robot :
IP
- Oseox : 92.222.213.109
User agent (par défaut))
- Oseox/1.0
Solution de cache et anti-crawl
Si vous utilisez des solutions comme DataDome ou Cloudflare… il faut également whitelister nos robots sur ces solutions.
Pour Cloudflare, créez une règle dans l’onglet Firewall.
Pour DataDome, créez une règle dans « Custom Rule »
Pour Tiger Protect, Paramètres généraux, Désactivez l’option « Je suis attaqué ». Cliquez sur l’onglet Adresse IP. Désactivez l’option « Bloquer les IP ayant une mauvaise réputation » ou demandez à votre hébergeur.
Hébergeur
Si nos robots sont toujours bloqués, demandez des informations à votre hébergeur ou administrateur système.
