Il est possible que nos robots ne puissent accéder à vos URL pour différentes raisons.
Afin de vous assurer que nous pouvons crawler, pensez à whitelister notre robot :
IP
- Oseox : 92.222.213.109
User agent (par défaut))
- Oseox/1.0
Solutions de cache et anti-crawl
Si vous utilisez des solutions comme DataDome ou Cloudflare… il faut également whitelister nos robots sur ces solutions.
Pour Cloudflare, Sécurité => WAF => Régles d’accès IP (ou créez une règle dans l’onglet Firewall).
Pour DataDome, créez une règle dans « Custom Rule »
Pour Tiger Protect, Paramètres généraux, Désactivez l’option « Je suis attaqué ». Cliquez sur l’onglet Adresse IP. Désactivez l’option « Bloquer les IP ayant une mauvaise réputation » ou demandez à votre hébergeur.
Contactez le support de vos services afin de vous assurer de la démarche à suivre.
HTACCESS
Oseox SENTINEL peut passer l’authentification HTACCESS
Protocole mutual TLS (mTLS)
Oseox ALERTING et MONITORING peuvent utiliser ce protocole (coût supplémentaire à prévoir 100€)
HTTP headers et signature Shopify
Un développement sera réalisé en 2027 permettant à ALERTING, MONITORING & SENTINEL de supporter le système de signature dans le header de Shopify
Hébergeur
Si nos robots sont toujours bloqués, demandez des informations à votre hébergeur.
