在数字化浪潮席卷的当下,随着短视频平台的蓬勃发展与内容消费的爆炸式增长,视频创作需求呈现出持续攀升的态势。继此前详细分享图生视频工作流实践后,我再次踏上 AI 技术探索之旅,通过深入研究与实践,成功运用AiPy搭建起一套智能化文生视频工作流。这套创新性的工作流堪称内容创作的“效率神器”, 这个工作流支持快速转化:文本——图片——视频——语音——完整音视频内容,只需更换文本素材就能高效产出多组视频,在影视创作、广告制作、教育内容开发等场景中,都展现出不错的应用潜力。
结果展示:
一、工作流核心工具 ——AiPy 介绍
AiPy 是一款主打零代码操作的 AI 创作工具,官网提供一键下载安装服务。截止目前最新版本0.6.1,在原有基础上进一步升级。配置文件可以引入了基于多模态学习的智能画面增强算法,使视频画面的细节纹理更逼真,人物动作衔接更自然流畅。用户仅需输入自然语言指令,就能将文字创意转化为可视化视频内容,极大降低了专业视频创作的技术门槛。
二、工作流搭建准备步骤
1、API准备工作
- AiPy 部署:直接从官网下载安装包,按照官方详细指引完成安装。安装完成后,打开 AiPy,熟悉其操作界面和基础功能。
- API 配置:本次工作流需要用到三个功能:文生图、文生语音、图生视频,所有我们至少需要先申请到能满足这三个需求的API key。我这里使用的是通义万相+豆包的文生图和图生视频API(具体配置信息可进官网微信群询问噢~)
- 在 AiPy 中配置 API Key:打开 AiPy 的配置文件夹(默认位置:C:\Users\Administrator.aipyapp,如果不是 Administrator 用户,需将路径中的 Administrator 替换为自己的用户名),找到【user_config.toml】文件并打开。复制特定的配置信息粘贴到文件中,用在大模型平台申请到的 API Key 替换相应部分,保存后退出,完成 API Key 的配置。
2、文本准备
- 画面描述与旁白
首先需要准备一个文件夹,里面设施【画面】和【旁白】
内容参考如下:
注意:画面一定要和旁白一一对应或者二一对应,我案例使用的是豆包首尾帧功能生成视频,所以画面是旁白的两倍。画面描述的内容中可以指定画风,同时为了保持人物的一致性,人名后面可以加上固定的描述;同时,每一个镜头的旁白字符数要与视频时长相符合,不能太长(示例:5s-18至20字符)
- 提示词准备
我需要你生成一个可重复利用的脚本0724_pptv.py。
- 首先识别【C:\Users\Administrator\Desktop\视频工作流\画面.txt】中每个画面的提示词内容,根据画面描述生成图片保存在【C:\Users\Administrator\Desktop\视频工作流\图片】文件夹中;
- 接着使用首尾帧功能将每两个画面制作为一个视频,保存在【C:\Users\Administrator\Desktop\视频工作流\过程视频】;
- 然后识别【C:\Users\Administrator\Desktop\视频工作流\旁白.txt】中的旁白内容并转化为配音,每一行对应一个配音,保存在【C:\Users\Administrator\Desktop\视频工作流\配音】;
- 接着将配音拼接到视频内(以较长的流为准),保存在【C:\Users\Administrator\Desktop\视频工作流\配音视频】;
- 最后将配音视频合并成一个完整的视频,保存在【C:\Users\Administrator\Desktop\视频工作流\最终视频】。
过程可以使用ffmpeg,地址在【C:\Users\Administrator\Downloads\ffmpeg-7.0.2-essentials_build\ffmpeg-7.0.2-essentials_build\bin】
可以把脚本看作一个完整的工作流程,每一步既需要上一步生成内容的支撑同时也要为下一步服务,在符合工作逻辑的前提下,理论AiPy可以制作出更加丰富的工作流脚本!
三、运行实战
1、工具生成
在上面准备工作完毕后,只需要把提示词放入AiPy中,AiPy就会拆解任务——编写脚本——检验脚本有效性——bug修复——打包保存。
2、重复执行
在AiPy制作工具的过程中会把任务试运行一遍,如果想要重复运行,我们需要找到脚本保存的地址,然后【python 脚本名称即可】
AiPy编写脚本的时候,由于要进行分步骤校验,时间会比较长。而直接运行脚本的时候,视频生成速度会得到显著提升,一天生成100个视频不是梦!
四、写在最后
以上,就是基于 AiPy 搭建的智能化文生视频工作流的全过程,凭借 AiPy 零代码操作、多模态学习等优势,通过部署配置、生成图片、视频、语音及合成等步骤,实现了从文本到完整音视频的快速转化。
看到这里,详细你已经学会了制作视频工作流工具,正所谓实践出真知,你也快去试试吧!