输入一个 URL，获取整个网站：网络爬虫 API
Decodo 的 /crawl 端点可自动从网站抓取多达 1 万个页面，无需编写链接追踪逻辑，也无需手动处理分页。凭借 1.25 亿+ IP 等高级功能，即使是防护最严密的页面也能顺利访问；抓取失败的页面还会自动启用 JS 渲染进行重试。
试试示例
可直接接入：
100+
现成模板
99.99%
成功率
200
每秒请求数
1.25 亿+
全球 IP
最多 1 万次
免费请求
一个 URL，变成完整数据集
构建爬虫通常意味着要自己编写队列、重试和限速逻辑。Decodo 的 /crawl 端点会为您处理好这一切。它以与 /map 相同的方式发现 URL，按您传入的参数进行筛选，然后逐一 抓取每个页面。您拿到结果后，可按需进行任何处理。
一个任务，搭建 RAG 知识库
将 /crawl 指向文档网站或帮助中心，即可将每个页面以干净的 Markdown 格式返回，可直接分块并生成嵌入。
为失败页面提供第二次机会
开启 JS 重试后，每个失败的页面都会启用 JavaScript 渲染再尝试一次。如果仍然失败，该页面会被跳过，单个异常 URL 不会拖慢整个爬取任务。
接收通知，无需轮询
设置 Webhook 回调，任务完成后即可第一时间获取结果。
选择数据流水线所需的输出格式
与 /scrape 一样，每个页面均可以 Markdown 或 HTML 格式返回，爬取结果可直接接入 RAG 流水线，无需额外转换。
先用 /map 规划爬取范围
先运行 /map，从网站及其站点地图中获取多达 14.7 万个 URL，再只爬取您需要的部分。
访问会屏蔽自建爬虫的网站
爬取中的每个页面都与 /scrape 使用同一套基础设施：1.25 亿+ IP、内置代理管理，以及 99.99% 的成功率。
精选于：
灵活定价，随您的网页数据需求扩展
从免费套餐开始，每月最多 1 万次请求，之后再根据您的使用场景和用量选择最合适的订阅方案。
每种计划您都可以访问：
JavaScript 渲染
99.99% 成功率
支持 HTML、Markdown、XHR，以及 JSON、CSV、PNG（视目标而定）
一键接入 AI 集成
可直接用于 LLM 的 Markdown 格式
100+ 个预置模板
一个 API 密钥，通用所有端点
/scrape、/search、/map、/crawl
24/7 技术支持
14天退款保障
SSL安全支付
您的信息受256位SSL加密保护
常见问题
/crawl 端点实际可以用来构建什么？
任何需要获取整个网站内容（而不只是单个页面）的项目都可以，例如 RAG 知识库、文档镜像、大规模内容审查，或用于训练和分析的数据集。
/crawl 是同步执行的吗？还是需要稍后再查看结果？
它以后台任务的形式运行。您可以轮询任务状态，也可以设置 Webhook，在任务完成时接收通知。
爬取完成后，结果会保留多长时间？
大约 24 小时。如需更长时间保存结果，请使用 Webhook 在任务完成后第一时间获取。
如果页面加载失败会怎样？
系统会自动启用 JS 渲染，重试一次。如果仍然失败，该页面会被跳过，不会影响其余页面的爬取。
有免费套餐吗？
有。您可以使用价值 $5（最多 1 万次请求）的免费套餐开始体验，无需绑定信用卡。该套餐每月自动续期，您可以先用免费套餐运行小规模项目，准备好后再选择最适合您需求的订阅方案。
/crawl、/scrape 和 /map 有什么区别？
/scrape 用于获取单个 URL，并以 HTML、Markdown 或 XHR 格式返回其内容；针对特定目标，还支持 JSON、CSV 或 PNG 格式。/map 会返回在网站上发现的 URL，让您在抓取之前先了解网站上有哪些内容。/crawl 则将两者结合，它会在整个网站中发现页面并逐一抓取，每个任务最多 1 万个页面。
简而言之，网页爬取负责发现页面，网页抓取负责从页面中提取内容。/map 负责爬取，/scrape 负责抓取，而 /crawl 则在一个任务中同时完成两者。