Dify又一神器 - Firecrawl一键爬取网站，打造更丰富的AI知识库！

最新推荐文章于 2025-06-10 10:30:03 发布
最新推荐文章于 2025-06-10 10:30:03 发布
阅读量1.1k 收藏 18
点赞数 14
CC 4.0 BY-SA版权
分类专栏： 面试 学习路线 阿里巴巴 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74824534/article/details/148436525

在当今信息爆炸的时代，构建高效、全面的知识库对于企业和个人而言至关重要。然而，如何快速、高效地从海量网络数据中提取有价值的信息，一直是个挑战。幸运的是，FireCrawl 的出现为我们提供了全新的解决方案。

FireCrawl：AI驱动的智能爬虫工具

FireCrawl 是由 Mendable.ai 开发的开源项目，旨在将网站内容转换为适用于大型语言模型（LLM）的结构化数据。它无需站点地图即可抓取任何网站的所有可访问子页面，并将这些内容转换为干净、格式化的 Markdown 文档。

你也可以本地部署，可以按照READEME.md来进行本地部署 项目地址：https://github.com/mendableai/firecrawl 本例中使用的是Cloud版本的FireCrawl()

核心优势
  • 系统性智能抓取：FireCrawl 能够智能发现并追踪网站内部链接，确保内容的完整性和连贯性。
  • 精准内容识别与过滤：它能智能识别并提取网页中的主要内容，自动过滤广告、导航栏等无关元素，确保保留对 AI 系统有用的核心信息。
  • 语义化结构转换：FireCrawl 将抓取的网页内容转换为清晰、格式化的 Markdown 文档，保留标题、段落、列表等元素的层级关系，方便后续处理和分析。
  • 用户友好的操作体验：无需编程知识，只需输入目标 URL，即可完成 Web 知识库的一键式生成。
本地部署 FireCrawl 的步骤

为了满足对数据隐私和安全性的需求，您可以选择在本地环境中部署 FireCrawl。以下是简要的部署步骤：

克隆代码仓库：在终端中执行以下命令，将 FireCrawl 的代码克隆到本地：

  1. git clone https://github.com/mendableai/firecrawl.git
  • 设置环境参数：进入克隆的目录，复制环境变量模板文件，并进行必要的配置：
  1. cd firecrawl
  2. cp?.env.example?.env

使用文本编辑器打开 .env 文件，修改以下参数：

USE_DB_AUTHENTICATION：设置为 false，表示不使用数据库认证。

TEST_API_KEY：设置一个自定义的 API 密钥，例如 your_api_key。

启动 FireCrawl：在终端中执行以下命令，使用 Docker Compose 启动 FireCrawl：

  1. docker-compose up?-d

配置 Dify 与 FireCrawl 的集成：在 Dify 的设置中，添加 FireCrawl 的 API 配置，确保 Base URL 设置为 http://host.docker.internal:3002，并输入之前设置的 API 密钥。

应用场景
  • 技术文档的知识库构建：利用 FireCrawl，您可以快速爬取官方文档，构建全面的知识库，方便技术学习和查询。
  • 市场调研与竞争分析：通过爬取目标公司发布的市场调研和商业洞见，获取最新的行业动态和竞争情报。

Dify FireCrawl插件

在dify的插件市场已经封装了FireCrawl调用

图片

你只需要简单的点击安装即可享用； 当然在使用Cloud版本的FirCrawl要注意的一点是需要在平台上生成API Key， 地址：https://www.firecrawl.dev/

可以在Dify平台直接点击登录生成API Key

图片

在FireCrawl平台注册成功后你可以查看Api Key

图片

拿到key直接在Dify填入授权即可使用FireCrawl插件

Dify平台构建知识库

Dify和FireCrawl集成已经很好了，在Dify创建知识库可以直接通过FireCrawl生成，不用你再去粘贴复制，生成文件这么麻烦

图片

这里我用 https://www.promptingguide.ai/zh 这个网页为例 生成一个提示词相关的知识库，效果如下：

图片

抓取结束

图片

经过一段时间的知识库处理，大工告成??，接下来就可以愉快的使用基于网页的知识库了。

图片

图片

总结

FireCrawl 通过其强大的功能和简便的操作，为构建高质量的 AI 知识库提供了一站式解决方案。无论是企业还是个人，都可以利用 FireCrawl 高效地从网络中提取有价值的信息，助力 AI 应用的开发和优化。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！**超高年薪，挖掘AI大模型人才！**如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份资料分享出来：包括书籍、640套大模型行业报告、学习视频、学习路线、开源大模型学习教程等, ??有需要的小伙伴，可以扫描下方二维码领取??↓↓↓

一、经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、系列视频教程

在这里插入图片描述

四、开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

学习路线↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望
阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍
阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份资料包括书籍、640套大模型行业报告、学习视频、学习路线、开源大模型学习教程等, ??有需要的小伙伴，可以扫描下方二维码领取??↓↓↓

【AI】手把手教你用Dify+Agent搭建数据查询AI应用，实现自然语言流畅的和AI对话，无感切换数据源！大模型|LLM|Agent
德仔
03-04 1234
或空时，回复"没有查询到相关数据"，不得编造数据5.列出详细数据,优先以表格方式列出数据，如果数据超过10时，除非用户问题中包含明确要求列出全部数据的情形外，你只需要随机列出5条有代表性的的记录，否则需要列出全部记录。4、基于对上下文和对用户提问的理解，按照检索到的数据表结构信息，以及SQL参考示例，编写SQL查询语句。#任务:你的任务是理解用户的输入和上下文内容，编写SQL查询，并调用工具查询获得结果，结合用户的提问，对查询结果进行呈现.解读和分析。7.对数据进行概览和总结，必须包括原始数据的总记录数。
dify-1.3.1部署包 纯国内镜像 一键安装
05-07
各种配置都配置好了环境是.env。dockerfile是 dify.yaml里面是1.3.1的国内镜像下载很快的。 解压到linux服务器上后，比如我放在usr/local ， 进入cd /usr/local/dify-1.3.1/docker/，执行如下命令 docker-compose -f dify.yaml -p dify up -d 全部下载成功运行后， 浏览器输入http://192.168.100.102:17880/。对应你的ip，nginx端口是17880 。后续进行注册就行。 环境配置如下已经写好了 要改也可以自己改。 .env NGINX_SERVER_NAME=localhost NGINX_HTTPS_ENABLED=false NGINX_PORT=17880 NGINX_SSL_PORT=11443 EXPOSE_NGINX_PORT=17880 EXPOSE_NGINX_SSL_PORT=11443 # s3 PLUGIN_S3_USE_AWS_MANAGED_IAM=false PLUGIN_S3_USE_PATH_STYLE=false
Firecrawl 部署安装及 Dify 调用（保证好使）
热门推荐
JovaZou的成长之路
03-17 1万+
Firecrawl 是一个可以提供 API 服务的开源爬虫工具，我们只需要给它一个 URL，无需提供网站地图（sitemap），它就能抓取该 URL 的当前网页或更深层的网页，并可以把抓到的数据转变成 markdown 格式，这种格式更适合 LLM 阅读，在当今的 AI 浪潮下可以说是非常适合了。
Dify+DeepSeek - Excel数据一键可视化（创建步骤案例）-DSL工程文件（可直接导入）
03-05
Dify+DeepSeek - Excel数据一键可视化（创建步骤案例）-DSL工程文件（可直接导入）
大模型Dify实战：Dify如何用爬虫抓取网络内容后写入知识库中
2401_85373691的博客
05-29 2405
知识库几乎是AI创作的中心，能解决很多问题，例如AI幻觉（按着知识库的内容来输出，不会乱写） 在我教培业务中，搭建了一个内容知识库。
将网站转变为大模型训练数据的神器：自动化爬虫工具FireCrawl，两周斩获4K Star！
lythinking的博客
06-06 1974
等，进一步支撑你的行动，以提升本文的帮助力。
Dify+firecrawl：一个超好用的网页转Markdown API，打造你的第一个能检索爬虫RAG知识库的聊天机器人
2501_91673550的博客
04-15 2226
Firecrawl是一个超简单的API服务——你扔给它一个URL，它就能把整个网站（包括子页面！）的内容自动抓下来，并且转换成干净、易读的Markdown格式。不用配置网站的站点地图，不用写爬虫规则，API调一下，数据直接到手。接下来我们一起本地部署吧！
本地部署 Firecrawl：Dify都在用的爬虫工具
coderroad的博客
01-14 8362
基于 Rust 构建的高效、可扩展的 Web 爬虫。轻松快速地提取数据、监控站点和自动执行 Web 任务。
不用第三方软件，利用Dify内置网页抓取插件webscrape实现DeepSeek联网信息搜索
kooo_kooo的博客
03-30 3979
DeepSeek大模型本地化部署最大的痛点是不知道现在时间，不知道最新发生的事情，本文利用Dify内置网页抓取插件webscraper和获取当前时间插件time。实现最新时间获取和信息查询，优点是不用安装第三方搜索或网页爬取软件，实现方式比较简单。
Dify+Firecrawl本地部署RAG知识库chatbot
Y525698136的博客
06-10 1076
本文用于记录和描述如何在本地通过配置dify+firecral+ollama的方式来实现RAG知识库chatbot。
dify智能体分享-Dify 一键搭建中药科普工作流，文字 + 图片 + 视频.yml
最新发布
07-27
dify智能体分享-Dify 一键搭建中药科普工作流，文字 + 图片 + 视频
Dify+DeepSeek - Excel数据一键可视化（创建步骤案例）-Markdown示例文件
03-05
Dify+DeepSeek作为一款提升Excel数据处理能力的工具，使用户能够通过一键操作实现数据的可视化。可视化技术的应用，不仅可以帮助分析和理解大量数据，还能够将复杂的信息以直观易懂的方式展现出来，使得非专业人士也...
AI本地化部署-AI能力集成工具-Comfyui本地部署-Dify本地部署-一键本地化部署AI工具
03-16
它不仅继承了comfyui这样的平台的AI能力，还集成了Dify等众多AI服务的本地部署功能，大大降低了AI服务的成本和门槛。 具体而言，这一工具的核心功能包括了服务发现（Discover）和一键安装（Install）。服务发现功能...
FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
士多啤梨先生の博客
01-02 4025
FireCrawl 是一款开源的 AI 网络爬虫工具，专为处理动态网页内容、自动爬取网站及子页面而设计，支持多种数据提取和输出格式。
Dify工作流教程|以抓取网页并更新知识库为例详细讲解工作流编排过程（附DSL文件）
同名公众号：dify实验室
03-17 7623
{"name": "{新建的title变量}","text": "新建的content变量","indexing_technique": "high_quality","process_rule": {"mode": "automatic"}}有没有很痛苦，明明添加书签的网页，当你想阅读的时候，总是找不到或者好不容易找到了，发现网页404了。如果有个小工具，直接能把你输入的链接内容抓取下来，并且加入到你的知识库中，你说他香不香。无法获取授权的，也可以使用网页抓取工具，这个是免费的，抓取效果也可以。
firecrawl本地部署+dify调用授权
Lb_jay的博客
04-30 1141
8.可以使用 curl http://192.168.124.8:3002/test (这里我使用的我本机地址，你需要换成你的本机地址)，显示hello word 就是成功启动了。(2) 第二个坑就是，我在dify授权firecrawl的时候 一直保存不了，这是因为防火墙设置，我使用的是ubuntu系统，执行以下命令，把3002。（3）如果你的docker 一直拉不下来你可以更换你的镜像源，这是我配置的镜像源地址 ，你可以使用。9.在dify中使用授权，如果没有安装，可以在dify工具中搜索安装。
deepseek+dify：爬取网站多篇文章，批量提取和输出热点摘要（一）
bagell的博客
03-13 5028
设想方案概述：Dify（迭代节点）+Firecrawl（网页抓取）+Deepseek（大模型）一）安装Firecrawl工具二）详细操作步骤第一步：创建Dify应用1. 点击创建工作流，命名 “AI资讯八爪鱼”2. 整体流程说明：开始节点 - 页面抓取 - 迭代节点（LLM节点） - 输出节点。第二步：配置开始节点第三步：配置网页工具节点选取 工具-firecrawl，选择“地图式快爬”（获取网站上所有的网址）。将输入变量设置为 开始节点的 URL参数；
dify在线知识库 firecrawl 授权
04-26
### 关于 Dify 在线知识库和 Firecrawl 授权的信息 #### Dify 在线知识库概述 Dify 是一种基于大模型的知识管理工具，允许用户创建私有化的知识库并将其用于问答场景。其核心功能在于支持自定义训练数据集以及灵活的 API 集成方式[^2]。为了确保用户的隐私与安全，Dify 提供了多种授权机制来保护知识库的数据不被滥用。 对于 Dify 的许可证配置，通常需要通过官方文档或 GitHub 页面获取详细的许可协议说明。大多数开源项目采用常见的开源许可证（如 MIT、Apache 2.0 或 AGPL），而商业版本可能会附带额外的专有条款。如果未明确提及具体许可证，则建议联系开发者团队以确认具体的授权范围[^3]。 --- #### Firecrawl 授权详情 Firecrawl 主要遵循 **AGPL-3.0** 许可证，这意味着任何修改后的源码分发都需要公开共享给社区。然而，某些特定组件可能单独采用了更宽松的 **MIT** 许可证[^1]。因此，在实际应用过程中需要注意区分项目的各个模块及其对应的许可证类型。 以下是有关 Firecrawl 授权的一些重要事项： 1. 如果仅在内部部署而不对外发布代码或服务，则无需强制披露源码。 2. 当计划将 Firecrawl 整合到其他产品中并向公众提供时，需严格遵守 AGPL-3.0 要求，即开放完整的源代码及相关依赖项。 3. 对于希望避免合规复杂性的企业用户来说，可以选择购买商业版许可证（如果有）。这通常由原作者或维护者决定是否提供此类选项[^4]。 此外，值得注意的是默认情况下 Firecrawl 尊重目标站点 `robots.txt` 文件中的爬虫规则，并提醒使用者务必了解并遵循目标网站的服务条款 (Terms of Service) 和隐私政策[^1]。 --- #### 获取或许可证配置方法 针对如何获取或许可证配置这一需求，可以从以下几个方面入手： ##### 方法一：查阅官方文档 无论是 Dify 还是 Firecrawl，它们各自的官方网站或者托管平台（通常是 GitHub）都会包含详尽的技术资料与法律声明。这些资源能够帮助理解软件的功能边界及合法使用的前提条件[^5]。 ##### 方法二：直接咨询开发人员 当遇到模糊不清的地方时，最有效的方式便是向项目负责人提问。许多活跃的开源项目都设有专门的支持渠道，比如邮件列表、Slack/Discord 工作区或是 Issues 区域等。利用好这些沟通桥梁有助于快速解决问题[^6]。 ##### 方法三：评估第三方服务商 假如缺乏时间精力去深入研究复杂的授权细节，也可以考虑借助专业的第三方机构来进行全面分析。他们往往具备丰富的经验处理类似的版权事务，并能给出针对性强的意见指导[^7]。 ```python import requests def check_license(repo_url): """查询仓库主页上的 LICENSE 文件""" license_url = f"{repo_url}/blob/main/LICENSE" response = requests.get(license_url) if response.status_code == 200: print(f"LICENSE found at {license_url}") else: print("No explicit LICENSE file detected.") check_license("https://github.com/firecrawl-org/firecrawl") # 替换为目标存储库地址 ``` 以上脚本可用于初步判断某个 Git 存储库是否存在显式的 License 文档链接。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值