LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)

已于 2024-12-02 16:15:23 修改
阅读量1.6k 收藏 11
点赞数 9
分类专栏： 大模型 (LLM) 文章标签： 人工智能 多模态大语言模型 视频微调 SWIFT Qwen2-VL LoRA
于 2024-10-14 11:11:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/142912962
版权

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/142912962

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

Introduction

SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。

GitHub: modelscope/ms-swift

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 图像微调(LoRA) 教程(2)
AGI
10-12 1666
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
swift：qwen2 VL 多模态图文模型lora微调swift
weixin_42357472的博客
09-11 1276
【代码】swift：qwen2 VL 多模态图文模型lora微调swift。
Qwen2-VL的微调及量化
风之飘渺
09-15 3710
Qwen2-LV是Qwen-LV的升级版本，能力更强，性能全面提升。尤其是72B参数的版本更是取了惊人的成绩。它可以读懂不同分辨率和不同长宽比的图片，在 MathVista、DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；可以理解 20 分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策的能力，Qwen2-VL 可以集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。
如何让vllm使用modelscope而不是huggingface来下载模型？
最新发布
xiezhipu的博客
03-01 1905
通过上述配置，vLLM会自动从ModelScope镜像源下载模型文件，下载速度相比HuggingFace可提升5-10倍。此变量需在初始化vLLM引擎前生效，可临时设置或写入。方法预下载模型，避免服务启动时的长时间等待。若需自定义模型缓存路径，设置环境变量。，需注意磁盘空间是否充足。在运行vLLM前通过命令。
qwen-vl微调
liguandong
05-05 1027
lora在V100上显存不够，微调不起来，在a800上可以。用swift库可以在V100上微调Qwen-vl。直接pip install -r requirments.txt。注意gcc要升级到9.3。
多模态大模型系列｜Qwen2-VL微调实战(附完整代码)
2301_76168381的博客
01-26 1649
Lora方法，即在大型语言模型上对指定参数增加额外的低秩矩阵，并在模型训练过程中，仅训练而外增加的参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量很小，达到仅训练很小的参数，就能获取较好的结果。Lora论文：https://arxiv.org/abs/2106.09685官方代码：https://github.com/microsoft/LoRAHuggingFace封装的peft库：https://github.com/huggingface/peft。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8499
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Qwen2-VL多模态大模型微调实战（完整代码）
热门推荐
SoulmateY的博客
11-15 1万+
Qwen2-VL多模态大模型微调实战。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
Qwen2-VL 全链路模型体验、下载、推理、微调实战！
m0_59164520的博客
09-23 3398
进行微调。在这里，我们将展示可直接运行的demo。在开始微调之前，请确保您的环境已准备妥当。
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 模型推理(Infer) 教程 (1)
AGI
10-10 1334
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 4138
使用ms-swift高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 3940
使用ms-swift高效微调qwen2-7b-instruct
pytorch qwen2-vl自定义数据全量微调
weixin_42357472的博客
09-14 1150
参考：https://github.com/zhangfaen/finetune-Qwen2-VL/tree/main。运行模型保存在：train_output下。2B显存训练也很高，4090卡训练的。安装特定包，对qwen2vl支持。
Qwen2 -微调 Qwen2
强化学习曾小健
07-22 2199
各种参数（例如 r、target_modules、lora_alpha、lora_dropout、bias、use_gradient_checkpointing、random_state、use_rslora 和 loftq_config）用于配置 PEFT 过程。Qwen2 是一系列语言模型，包括各种大小的解码器模型。Qwen2 系列由 5 种尺寸的基础和指令调整模型组成：Qwen2–0.5B、Qwen2–1.5B、Qwen2–7B、Qwen2–57B-A14B 和 Qwen2–72B。
【深度学习】LLaMA-Factory 微调sft Qwen2-VL 进行印章识别
q742971636的博客
10-14 1593
了解如何利用LLaMA-Factory进行Qwen2-VL模型的微调是掌握先进机器学习技能的关键一步。本文将带你探索如何设置LLaMA-Factory环境、配置训练参数、处理数据集，最终实现多卡训练和模型微调。即使是初学者，凭借这篇博客，你也能顺利上手并自主完成Qwen2-VL模型的定制化训练。
基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - 训练过程
二分掌柜的
12-11 1471
flyfish
Qwen2-VL多模态大模型微调实战教程
SoulmateY的博客
12-04 6167
Qwen2-VL是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。以Qwen2-VL作为基座多模态大模型，通过的方式实现特定场景下的OCR，是学习的入门任务。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
【多模态】swift框架使用qwen2-vl
威化饼的一隅
12-14 2545
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。
实战千问2大模型第四天——Qwen2-VL-7B（多模态）lora微调训练和测试
qq_34717531的博客
10-08 3538
微调使得模型可以根据不同用户的需求进行定制，例如在特定领域内理解特殊的视觉内容或者专业术语。
modelscope部署 Qwen2-VL-7B
01-04
### 如何在ModelScope平台部署Qwen2-VL-7B模型 #### 下载模型 为了下载`Qwen2VL-7B`多模态大模型，可利用Python脚本简化这一过程。具体而言，通过引入`modelscope`库中的`snapshot_download`函数来指定并获取所需的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值