如何管理和调度Dify工作流？

大模型学习教程

已于 2025-05-26 18:43:45 修改

阅读量971

点赞数 23

CC 4.0 BY-SA版权

文章标签：人工智能前端数据库 oracle 语音识别

于 2025-05-24 11:46:01 首次发布

本文链接：https://blog.csdn.net/z551646/article/details/148188674

概述

Dify[1]是一款开源的大模型应用开发平台，可以通过可视化的画布拖拖拽拽快速构建AI Agent/工作流。Agent通常指能够自主决策、动态响应的智能体，比如聊天机器人、自动化客服等。工作流适合结构化、步骤明确、对输出内容和格式要求非常严谨的场景。 Dify工作流有许多场景，需要用到定时调度，比如：

风险监控：每分钟扫描风险数据，通过大模型分析是否有风险事件，并发出报警。
数据分析：每天拉取金融数据，通过大模型进行数据分析，给出投资者建议。
内容生成：每天帮我做工作总结，写日报。

本篇文章将介绍如何通过任务调度系统调度Dify工作流。

开源Dify的痛点

无定时调度和监控报警

Dify专注于做大模型应用的开发和运行平台，不支持工作流的定时调度和监控报警。

执行记录过多导致性能差

Dify工作流每次执行，会把执行记录存储在数据库的 workflow_node_executions, workflow_runs 等表，永远不会清理，会导致表数据越堆越多，影响性能。该问题社区也提了很多的 Issues，但是社区没有计划去修复该问题，比如：

\1. Issue #9747[2]: Ability to control logs.

在这里插入图片描述

\2. Issue #12991[3]：Database Size Growth Issue: Workflow Execution Logs and Retention Policy
在这里插入图片描述

解决方案

官方推荐使用任务调度系统托管和调度Dify工作流[4]，做定时调度和状态监控。针对Dify侧数据库表数据过多的问题，社区没有计划做自动清理的能力，可以让运维隔断时间手动清理下该表，然后统一在任务调度系统上看执行记录。

Dify Schedule集成Dify工作流

Dify Schedule [5]是一个使用 github actions [6]做Dify工作流定时调度的项目，主要包括的功能如下：

配置和管理Dify工作流，通过github security secrets 安全管理Dify工作流配置信息。
支持cron定时调度和api调度
多渠道消息通知：企业微信、钉钉、飞书、邮件等。

接入步骤

\1. Fork 仓库到自己的github账户中。

\2. 在.github/workflows下，配置定时任务，每个Dify工作流需要对应一个yml文件

在这里插入图片描述

\3. 配置Dify工作流信息。进入Fork代码仓库，依次点击 Settings->Secrets and variables->Actions->New repository secret，添加如下密钥：

在这里插入图片描述

\4. 配置定时任务的通知配置
在这里插入图片描述

\5. 前往github actions页面，查看调度记录，也可以手动运行

在这里插入图片描述

\6. 在Dify工作流控制台，工作流的日志页面，可以看到dify-schedule触发的记录

在这里插入图片描述

方案限制

只能调度公网Dify

通过github actions 调度Dify工作流，需要 DIFY_BASE_URL 这个配置成公网域名，如果是私网部署的Dify，github无法调度，网络不通。

调度延时大

Github actions的schedule能力比较弱，就算把cron表达式配置成 *** * * * *** ，也无法做到每分钟调度一次，官方文档[7]描述最小调度频率是5分钟。

You can schedule a workflow to run at specific UTC times using POSIX cron syntax. Scheduled workflows run on the latest commit on the default or base branch. The shortest interval you can run scheduled workflows is once every 5 minutes.

经过实际测试下来，可能是github调度资源有限，就算把cron表达式配置成 “*/5 * * * *” ，也无法保证5分钟一次，调度经常会延迟十几分钟甚至好几十分钟，如果想要精确的做Dify工作流定时调度，该方案不是很合适。比如配置每5分钟调度一次，实际调度情况如下图：
在这里插入图片描述

配置复杂

每增加一个Dify工作流，就得配置一个github actions workflow文件，针对每个Dify工作流，还得新增 DIFY_TOKENS、DIFY_INPUTS等Secrets配置，开发维护成本比较高。

无失败报警

失败报警是定时任务系统的基本诉求，如果Dify工作流运行失败了，需要及时通知到业务方，否则容易产生故障。该方案的消息通知，是任务执行成功失败都通知，没法配置只通知失败的任务。

XXL-JOB集成Dify工作流

XXL-JOB[8]是开源非常流行的任务调度系统，简单易用，并且功能丰富。可以做到秒级别调度，提供任务的报警监控、手动运维、监控大盘等能力。

阿里云XXL-JOB版完全兼容开源，支持调度公网的Dify集群，也支持调度阿里云内网的Dify集群，下面以调度阿里云内网Dify详细介绍。

在这里插入图片描述

接入步骤

\1. 在阿里云上自建Dify集群，比如通过容器服务一键部署Dify[9]，并通过模版新建工作流，如下创建了一个有迭代器的工作流：

在这里插入图片描述

\2. 在MSE中新建XXL-JOB集群[10]（限时免费试用一个月），vpc网络需要和Dify集群保持一致。

\3. 进入XXL-JOB集群中，先创建应用，再创建任务，任务类型选择“Dify工作流”

在这里插入图片描述

Endpoint：Dify工作流的API服务器，如果是阿里云自建Dify，推荐域名换成内网。

在这里插入图片描述

API KEY：Dify工作流的API 密钥，不同的工作流有不同的密钥，通过这里获取。

在这里插入图片描述

输入：工作流的输入，json格式，比如

{"input_text": "what is your name"}

\4. 测试运行，可以通过任务管理->运行一次，进行测试。

在这里插入图片描述

方案优势

秒级别调度

该方案支持多种定时调度，包括cron、fixed_rate、fixed_delay，能精确到****秒级别调度****。同时还支持时区、自定义日历等定时配置。

安全防护

可以通过内网域名调度Dify工作流，不需要把Dify的API服务器暴露到公网，减少安全风险。
精细化权限管控：使用阿里云RAM权限体系，能支持给不同的账号、角色配置不同的权限，比如开发可以新建和编辑Dify工作流任务，运营只能读和手动运行任务。

限流控制

有一堆Dify工作流，每天运行一次或者每小时运行一次，如果把定时时间设置同一时刻，会导致调用大模型的时候触发token限流，任务执行失败。

XXL-JOB自带任务失败自动重试功能，虽然通过不断重试最终可以解决该问题，但是限流过程中一直重试会加重token限流，资源利用率不高，重复重试还会导致浪费token消耗，增加成本。所以针对该场景，推荐使用限流方案：

在这里插入图片描述

如上图所示，任务调度XXL-JOB版支持应用级别的限流控制：

\1. 每个应用会有2个队列，一个是优先级排队队列，可以把任务按照优先级在队列中排队，保证核心任务优先跑完。任务的优先级仅在自己的应用下生效，不会和其他应用产生冲突。

\2. 另一个是并发数队列，控制这个应用的并发数，不同应用的并发数彼此不受干扰。

\3. 当并发队列中某个任务运行完成，有空闲槽位后，会从排队队列头部取出任务，放到并发队列中，开始执行任务。

企业级报警

任务调度XXL-JOB版集成阿里云监控，提供企业级报警服务：

支持联系人、联系人组统一管理。
支持实例和应用维度阈值报警，比如某个应用最近N分钟连续环比下跌30%。
支持精细化到任务级别的失败报警、超时报警、成功通知。
支持短信、电话、webook、邮件报警渠道。

丰富的可观测

调度大盘

调度大盘通过曲线的形式展示整体调度情况，包括执行成功和执行失败，支持应用、时间区间的过滤：
在这里插入图片描述

执行记录

执行记录通过列表的形式展示了每次执行的基本详情，包括Dify工作流执行的状态、耗时和tokens消耗，支持多种条件过滤查询：
在这里插入图片描述

工作流详情

在执行记录列表中，点详情，可以看到整个Dify工作流这次运行的详情。

基本信息

在这里插入图片描述

输入输出

在这里插入图片描述

节点追踪

任务开始执行，MSE-XXLJOB通过streaming模式，就可以实时拿到该工作流所有节点的执行情况，如果节点是迭代器和循环分支，还能支持节点下钻，比如步骤1中包含迭代器的工作流，节点追踪如下图所示：
在这里插入图片描述

点击迭代器节点 - Iteration，可以看到子流程如下：
在这里插入图片描述

调度事件

调度事件以列表的形式展示了任务每次调度的所有事件，针对Dify工作流任务，还包括了所有工作流和节点的事件，支持按照应用、任务名、任务执行ID、时间区间过滤：
在这里插入图片描述

总结

Dify-Schedule和MSE-XXLJOB，调度Dify工作流详细对比如下表：

在这里插入图片描述

如何学习AI大模型？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
在这里插入图片描述

为什么分享这些资料?

我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

在这里插入图片描述