Crawler.sh 是一款快速、本地优先的网络爬虫及 SEO 与 AEO 分析工具，可在终端或原生桌面应用中运行。它能在数秒内爬取整个网站，对每个页面执行 24 项自动化 SEO 检查，将可读内容提取为整洁的 Markdown 格式，并将结果导出为 JSON、CSV 或 Sitemap XML——全程无需将数据发送至任何外部服务器。
每个页面的主要文章内容会被自动提取并转换为整洁的 Markdown 格式。该工具会为每个页面提供字数统计、作者署名和摘要，方便您轻松复用或归档网页内容。
在保持同一域名范围内爬取任意网站。内置的 JavaScript 渲染功能可自动检测并处理重度 JS 页面，您还可以配置并发数、深度限制以及请求间的礼貌延迟。
每个页面都会扫描缺失标题、重复的元描述、noindex 指令、内容单薄、链接失效、URL 过长以及内容新鲜度信号。问题可导出为 CSV 或可读的 TXT 格式供团队使用。
在爬取过程中以 NDJSON 格式流式输出结果，或导出为 JSON 数组及符合 W3C 标准的 Sitemap XML。SEO 报告可导出为 CSV 或 TXT，为您下游的任何工作流提供灵活性。
爬取任意网站，发现所有问题，导出所需数据——一切都在您自己的机器上完成。
这种本地优先的方法意味着数据永远不会离开您的计算机，因此非常适合处理敏感或内部网站。将快速爬取、自动化 SEO 分析和整洁的 Markdown 提取集于一身，无需再同时使用多个服务。您将获得从爬取到导出的完整管道，且无需承担重复订阅费用或受 API 速率限制。
您需要一款尊重隐私、功能全面的工具来爬取网站、运行 SEO 审计并提取内容——无论您是希望自动化工作流的独立开发者，还是想在问题影响排名前及时发现的 SEO 团队。如果您偏好从终端操作，或希望使用一款将所有数据保留在本地的桌面应用，这款工具尤其适合您。
其他您可能感兴趣的工具
Opttab 是一款一站式AI可见性与GEO（生成式引擎优化）平台，旨在帮助品牌、个人及企业衡量、掌控并提升其在AI搜索引擎及大语言模型（如ChatGPT、Gemini、Claude、Perplexity等AI模型）中的影响力。与传统SEO工具不同，Opttab专注于AI模型如何发现、解读、排序及复用您的内容——让您对自身面向AI的数字足迹拥有完全的透明度和掌控力。
一个内容平台，游艇企业通过测验分享专业知识，AI 生成 SEO 优化的文章，直接带来预订咨询。
利用AI创建美观且始终最新的产品文档。内置AI助手可帮助您编写和维护内容，并连接开发与支持工具以获取上下文。支持通过网页、AI助手或文档即代码（docs-as-code）方式进行编辑。内置助手可为用户提供即时且带有引用的答案，从而减轻支持负担。
华尔街每年支付高达3万美元来获取他们的优势。这就是他们保持领先的方式——更好的数据、更快的资讯、机构级的工具。我们正在改变这一现状。我们为独立交易者和投资者打造了一款华尔街终端。实时突破信号、聪明钱追踪、内幕交易与国会交易、AI驱动分析——全部整合在一个平台上，成本却只是零头。
Loading comments…
制作者
moonbyte
项目信息
产品关键词
