Il est possible que nos robots ne puissent accéder à vos URL pour différentes raisons.
Afin de vous assurer que nous pouvons crawler, pensez à whitelister notre robot :
IP
- Oseox : 92.222.213.109
User agent (par défaut))
- Oseox/1.0
Solutions de cache et anti-crawl
Si vous utilisez des solutions comme DataDome ou Cloudflare… il faut également whitelister nos robots sur ces solutions.
Pour Cloudflare, Sécurité => WAF => Régles d’accès IP (ou créez une règle dans l’onglet Firewall).
Pour DataDome, créez une règle dans « Custom Rule »
Pour Tiger Protect, Paramètres généraux, Désactivez l’option « Je suis attaqué ». Cliquez sur l’onglet Adresse IP. Désactivez l’option « Bloquer les IP ayant une mauvaise réputation » ou demandez à votre hébergeur.
Hébergeur
Si nos robots sont toujours bloqués, demandez des informations à votre hébergeur ou administrateur système.
