Crawler.sh

Crawler.sh 是什么？

Crawler.sh 是一款快速、本地优先的网络爬虫及 SEO 与 AEO 分析工具，可在终端或原生桌面应用中运行。它能在数秒内爬取整个网站，对每个页面执行 24 项自动化 SEO 检查，将可读内容提取为整洁的 Markdown 格式，并将结果导出为 JSON、CSV 或 Sitemap XML——全程无需将数据发送至任何外部服务器。

适用人群

• SEO 专家：需要在排名受影响前，审计网站是否存在缺失标题、重复描述、内容单薄及链接失效等问题
• 内容管理者：希望将文章内容提取为整洁的 Markdown 格式，用于备份、迁移或导入其他工具
• 开发者：偏好 CLI 驱动的工作流，以便将爬虫集成到自动化管道或 CI/CD 流程中

核心功能

内容提取为整洁的 Markdown

每个页面的主要文章内容会被自动提取并转换为整洁的 Markdown 格式。该工具会为每个页面提供字数统计、作者署名和摘要，方便您轻松复用或归档网页内容。

支持 JavaScript 渲染的网站爬取

在保持同一域名范围内爬取任意网站。内置的 JavaScript 渲染功能可自动检测并处理重度 JS 页面，您还可以配置并发数、深度限制以及请求间的礼貌延迟。

24 项自动化 SEO 检查

每个页面都会扫描缺失标题、重复的元描述、noindex 指令、内容单薄、链接失效、URL 过长以及内容新鲜度信号。问题可导出为 CSV 或可读的 TXT 格式供团队使用。

多种输出格式

在爬取过程中以 NDJSON 格式流式输出结果，或导出为 JSON 数组及符合 W3C 标准的 Sitemap XML。SEO 报告可导出为 CSV 或 TXT，为您下游的任何工作流提供灵活性。

突出优势

爬取任意网站，发现所有问题，导出所需数据——一切都在您自己的机器上完成。

这种本地优先的方法意味着数据永远不会离开您的计算机，因此非常适合处理敏感或内部网站。将快速爬取、自动化 SEO 分析和整洁的 Markdown 提取集于一身，无需再同时使用多个服务。您将获得从爬取到导出的完整管道，且无需承担重复订阅费用或受 API 速率限制。

值得一试，如果……

您需要一款尊重隐私、功能全面的工具来爬取网站、运行 SEO 审计并提取内容——无论您是希望自动化工作流的独立开发者，还是想在问题影响排名前及时发现的 SEO 团队。如果您偏好从终端操作，或希望使用一款将所有数据保留在本地的桌面应用，这款工具尤其适合您。