FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：FireCrawl 支持自动爬取网站及其子页面，抓取单个 URL 内容，并提取结构化数据。
2. 技术：基于网络爬虫技术，处理动态内容，并利用大型语言模型进行数据提取。
3. 应用：适用于大模型训练、检索增强生成（RAG）、数据驱动开发等多种场景。

正文（附运行示例）

FireCrawl 是什么

FireCrawl 是一款开源的 AI 网络爬虫工具，专门用于 Web 数据提取，能够将网页内容转换为 Markdown 或其他结构化数据。它具备强大的抓取能力，支持动态网页内容的处理，并提供智能爬取状态管理和多样的输出格式。

FireCrawl 集成了 LLM Extract 功能，利用大型语言模型快速完成数据提取，适用于大模型训练、检索增强生成（RAG）、数据驱动开发项目等多种场景。

FireCrawl 的主要功能

1. 爬取：自动爬取网站及其所有可访问的子页面，将内容转换为 LLM 就绪格式。
2. 抓取：抓取单个 URL 的内容，并以 Markdown、结构化数据等格式提供。
3. 映射：输入网站 URL，快速获取网站上的所有链接。
4. LLM 提取：从抓取的页面中提取结构化数据。
5. 批量抓取：同时抓取多个 URL。
6. 网页交互：在抓取内容之前，对网页执行点击、滚动、输入等操作。
7. 搜索：搜索网络，获取最相关的结果，并抓取页面内容。

FireCrawl 的技术原理

1. 网页爬取：利用网络爬虫技术，根据提供的 URL 递归访问网站页面。
2. 内容解析&#