Comparer le code source HTML et les entêtes HTTP de 2 crawls

Nos logiciels SEO stockent et historisent pendant plusieurs mois le code HTML ainsi que les entêtes HTTP dès lors que nous repérons une modification.

Parfois certaines régressions observées sont temporaires et vous n’aurez pas le temps de constater par vous même sur votre site les modifications relevés par Oseox MONITORING ou Oseox LINK.

Parfois, afin de comprendre ce qu’il s’est passé, l’analyse du code source HTML et des entêtes HTTP s’avère indispensable.

Vous avez accès via votre interface d’administration aux données scrapées. Ainsi vous pourrez vérifier et analyser par vous-même le code.

Sur Oseox MONITORING, cliquez sur « COMPARER »

Comparer le code source HTML et les entêtes HTTP de 2 crawls

Vous accéderez alors au code HTML et aux entêtes scrappés lors du dernier passage de notre bot ayant entrainé une alerte.
Ce code sera automatiquement comparé au précédent crawl et un système de colorisation syntaxique mettra en exergue automatiquement les différences.

comparer 2 crawls

Sur Oseox LINK, cliquez sur l’icone en forme d’éclair « historique du crawl »

historique des crawls

Les différences peuvent être parfois extrêmement subtiles comme un simple espace ajouté.

Nos solutions sont donc sensibles au changement d’un seul caractère. Aucune altération du code ne pourra alors vous échapper. Aucun faux positif ne peut être généré.

Les seules alertes pouvant apparaître comme peu utiles pourraient provenir des micros indisponibilités de serveur ou lorsque notre bot est bloqué (solution anti-scrap, code HTML trop lourd…) et ne parvient pas à scraper. Nous comparons alors un crawl complet à un crawl vide. Toutefois, afin d’éviter ce type d’alerte parfois peu pertinente, nous disposons d’un système de double vérification.

Coûteux pour notre infrastructure mais pratique pour les utilisateurs 🙂

Vous pouvez également configurer dans votre interface à votre guise le nombre et les délais des « retry » pour chaque crawl.

configurer les retry des crawls