Crawler.sh

Qu'est-ce que Crawler.sh ?

Crawler.sh est un outil d'analyse SEO et AEO rapide, fonctionnant en local, qui se lance depuis votre terminal ou une application de bureau native. Il explore des sites web entiers en quelques secondes, effectue 24 vérifications SEO automatisées sur chaque page, extrait le contenu lisible en Markdown propre, et exporte les résultats en JSON, CSV ou Sitemap XML — le tout sans envoyer vos données vers un serveur externe.

À qui s'adresse-t-il

• Spécialistes SEO qui doivent auditer des sites pour détecter les titres manquants, les descriptions en double, le contenu pauvre et les liens brisés avant que le classement n'en souffre
• Gestionnaires de contenu qui souhaitent extraire le contenu des articles en Markdown propre pour des sauvegardes, des migrations ou l'alimentation d'autres outils
• Développeurs qui préfèrent un flux de travail en ligne de commande pour intégrer le crawling dans des pipelines automatisés ou des processus CI/CD

Fonctionnalités clés

Extraction de contenu en Markdown propre

Le contenu principal de chaque page est automatiquement extrait et converti en Markdown propre. L'outil inclut le nombre de mots, la signature de l'auteur et un extrait pour chaque page, facilitant la réutilisation ou l'archivage du contenu web.

Exploration de sites avec rendu JavaScript

Explorez n'importe quel site web tout en restant dans le même domaine. Le rendu JavaScript intégré détecte et gère automatiquement les pages riches en JS, et vous pouvez configurer la concurrence, les limites de profondeur et les délais de politesse entre les requêtes.

24 vérifications SEO automatisées

Chaque page est analysée pour détecter les titres manquants, les méta-descriptions en double, les directives noindex, le contenu pauvre, les liens brisés, les URL longues et les signaux de fraîcheur du contenu. Les problèmes peuvent être exportés en CSV ou en TXT lisible pour votre équipe.

Formats de sortie multiples

Diffusez les résultats en NDJSON pendant l'exploration, ou exportez-les en tableaux JSON et en Sitemap XML conforme aux normes W3C. Les rapports SEO s'exportent en CSV ou TXT, vous offrant une flexibilité pour tout flux de travail en aval.

Ce qui se démarque

Explorez n'importe quel site web, trouvez chaque problème et exportez les données dont vous avez besoin — le tout depuis votre propre machine.

Cette approche locale signifie qu'aucune donnée ne quitte jamais votre ordinateur, ce qui la rend idéale pour les sites sensibles ou internes. La combinaison d'une exploration rapide, d'une analyse SEO automatisée et d'une extraction propre en Markdown dans un seul outil élimine le besoin de jongler avec plusieurs services. Vous obtenez un pipeline complet, de l'exploration à l'exportation, sans frais d'abonnement récurrents ni limites de débit API.

À considérer si…

Vous avez besoin d'un outil tout-en-un respectueux de la vie privée pour explorer des sites web, réaliser des audits SEO et extraire du contenu — que vous soyez un développeur solo automatisant des flux de travail ou une équipe SEO détectant les problèmes avant qu'ils n'affectent le classement. Il est particulièrement utile si vous préférez travailler depuis le terminal ou si vous souhaitez une application de bureau qui garde tout en local.