Crawler.sh

¿Qué es Crawler.sh?

Crawler.sh es un rastreador web rápido y centrado en lo local, además de una herramienta de análisis SEO y AEO que se ejecuta desde tu terminal o una aplicación de escritorio nativa. Rastrea sitios web completos en segundos, realiza 24 verificaciones SEO automatizadas en cada página, extrae contenido legible como Markdown limpio y exporta los resultados a JSON, CSV o Sitemap XML, todo sin enviar tus datos a ningún servidor externo.

Para quién es

• Especialistas en SEO que necesitan auditar sitios en busca de títulos faltantes, descripciones duplicadas, contenido escaso y enlaces rotos antes de que los rankings se vean afectados.
• Gestores de contenido que desean extraer el contenido de artículos como Markdown limpio para copias de seguridad, migraciones o para alimentar otras herramientas.
• Desarrolladores que prefieren un flujo de trabajo basado en CLI para integrar el rastreo en pipelines automatizados o procesos CI/CD.

Características clave

Extracción de contenido como Markdown limpio

El contenido principal del artículo de cada página se extrae automáticamente y se convierte a Markdown limpio. La herramienta incluye el recuento de palabras, la firma del autor y un extracto para cada página, lo que facilita la reutilización o el archivado del contenido web.

Rastreo de sitios con renderizado JavaScript

Rastrea cualquier sitio web manteniéndote dentro del mismo dominio. El renderizado JavaScript integrado detecta y maneja automáticamente las páginas con mucho JS, y puedes configurar la concurrencia, los límites de profundidad y las demoras corteses entre solicitudes.

24 verificaciones SEO automatizadas

Cada página se escanea en busca de títulos faltantes, meta descripciones duplicadas, directivas noindex, contenido escaso, enlaces rotos, URLs largas y señales de frescura del contenido. Los problemas se pueden exportar como CSV o TXT legible para tu equipo.

Múltiples formatos de salida

Transmite los resultados como NDJSON durante el rastreo, o expórtalos como arrays JSON y Sitemap XML compatible con W3C. Los informes SEO se exportan como CSV o TXT, brindándote flexibilidad para cualquier flujo de trabajo posterior.

Lo que lo distingue

Rastrea cualquier sitio web, encuentra cada problema y exporta los datos que necesitas, todo desde tu propia máquina.

Este enfoque centrado en lo local significa que ningún dato sale nunca de tu ordenador, lo que lo hace ideal para sitios sensibles o internos. La combinación de rastreo rápido, análisis SEO automatizado y extracción de Markdown limpio en una sola herramienta elimina la necesidad de manejar múltiples servicios. Obtienes un pipeline completo desde el rastreo hasta la exportación sin costos de suscripción recurrentes ni límites de tasa de API.

Vale la pena echarle un vistazo si…

Necesitas una herramienta integral que respete la privacidad para rastrear sitios web, realizar auditorías SEO y extraer contenido, ya seas un desarrollador en solitario que automatiza flujos de trabajo o un equipo SEO que detecta problemas antes de que afecten los rankings. Es especialmente útil si prefieres trabajar desde la terminal o quieres una aplicación de escritorio que mantenga todo local.