LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)

已于 2024-12-02 16:15:23 修改
阅读量1.7k 收藏 11
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 大模型 (LLM) 文章标签： 人工智能 多模态大语言模型 视频微调 SWIFT Qwen2-VL LoRA
于 2024-10-14 11:11:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/142912962

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/142912962

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

Introduction

SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。

GitHub: modelscope/ms-swift

系列教程：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
swift qwen2-vl推理及加载lora使用案例
weixin_42357472的博客
09-12 1143
参考：SWIFT支持300+ LLM和50+ MLLM（多模态大模型）的训练(预训练、微调、对齐)、推理、评测和部署。
swift：qwen2 VL 多模态图文模型lora微调swift
weixin_42357472的博客
09-11 1351
【代码】swift：qwen2 VL 多模态图文模型lora微调swift。
多模态大模型系列｜Qwen2-VL微调实战(附完整代码)
最新发布
2301_76168381的博客
01-26 1773
Lora方法，即在大型语言模型上对指定参数增加额外的低秩矩阵，并在模型训练过程中，仅训练而外增加的参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量很小，达到仅训练很小的参数，就能获取较好的结果。Lora论文：https://arxiv.org/abs/2106.09685官方代码：https://github.com/microsoft/LoRAHuggingFace封装的peft库：https://github.com/huggingface/peft。
Qwen2-VL多模态大模型微调实战（完整代码）
热门推荐
SoulmateY的博客
11-15 2万+
Qwen2-VL多模态大模型微调实战。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 图像微调(LoRA) 教程(2)
AGI
10-12 1758
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
Qwen2-VL的微调及量化
风之飘渺
09-15 3979
Qwen2-LV是Qwen-LV的升级版本，能力更强，性能全面提升。尤其是72B参数的版本更是取了惊人的成绩。它可以读懂不同分辨率和不同长宽比的图片，在 MathVista、DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；可以理解 20 分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策的能力，Qwen2-VL 可以集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。
qwen-vl微调
liguandong
05-05 1089
lora在V100上显存不够，微调不起来，在a800上可以。用swift库可以在V100上微调Qwen-vl。直接pip install -r requirments.txt。注意gcc要升级到9.3。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 9096
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Qwen2-VL 全链路模型体验、下载、推理、微调实战！
m0_59164520的博客
09-23 3574
进行微调。在这里，我们将展示可直接运行的demo。在开始微调之前，请确保您的环境已准备妥当。
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 模型推理(Infer) 教程 (1)
AGI
10-10 1410
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）
以微薄之力，予他人些许温暖.
08-30 4256
使用ms-swift高效微调qwen2-7b-instruct
pytorch qwen2-vl自定义数据全量微调
weixin_42357472的博客
09-14 1189
参考：https://github.com/zhangfaen/finetune-Qwen2-VL/tree/main。运行模型保存在：train_output下。2B显存训练也很高，4090卡训练的。安装特定包，对qwen2vl支持。
Qwen2 -微调 Qwen2
强化学习曾小健
07-22 2267
各种参数（例如 r、target_modules、lora_alpha、lora_dropout、bias、use_gradient_checkpointing、random_state、use_rslora 和 loftq_config）用于配置 PEFT 过程。Qwen2 是一系列语言模型，包括各种大小的解码器模型。Qwen2 系列由 5 种尺寸的基础和指令调整模型组成：Qwen2–0.5B、Qwen2–1.5B、Qwen2–7B、Qwen2–57B-A14B 和 Qwen2–72B。
【深度学习】LLaMA-Factory 微调sft Qwen2-VL 进行印章识别
q742971636的博客
10-14 1744
了解如何利用LLaMA-Factory进行Qwen2-VL模型的微调是掌握先进机器学习技能的关键一步。本文将带你探索如何设置LLaMA-Factory环境、配置训练参数、处理数据集，最终实现多卡训练和模型微调。即使是初学者，凭借这篇博客，你也能顺利上手并自主完成Qwen2-VL模型的定制化训练。
基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - 训练过程
二分掌柜的
12-11 1571
flyfish
Qwen2-VL多模态大模型微调实战教程
SoulmateY的博客
12-04 7942
Qwen2-VL是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。以Qwen2-VL作为基座多模态大模型，通过的方式实现特定场景下的OCR，是学习的入门任务。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
【多模态】swift框架使用qwen2-vl
威化饼的一隅
12-14 2947
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。
实战千问2大模型第四天——Qwen2-VL-7B（多模态）lora微调训练和测试
qq_34717531的博客
10-08 3812
微调使得模型可以根据不同用户的需求进行定制，例如在特定领域内理解特殊的视觉内容或者专业术语。
Qwen2-VL-7B本地部署和微调
qq_55334382的博客
09-11 1万+
Qwen2-VL-7B 是阿里巴巴开发的一款多模态大语言模型，属于Qwen2-VL系列的一部分。该模型能够处理文本、图像、多张图像和视频输入，尤其擅长视觉-语言任务，如文档理解、视频问答和复杂的多语言任务。它在多个视觉理解基准测试中表现出色，包括DocVQA和MTVQA。Qwen2-VL-7B 拥有约70亿参数，支持多种语言，包括中文、英文、日语、韩语、阿拉伯语等。这使得它适用于跨语言场景，尤其在文档、图片和视频的多模态理解方面具有领先的表现。
modelscope部署 Qwen2-VL-7B
01-04
### 如何在ModelScope平台部署Qwen2-VL-7B模型 #### 下载模型 为了下载`Qwen2VL-7B`多模态大模型，可利用Python脚本简化这一过程。具体而言，通过引入`modelscope`库中的`snapshot_download`函数来指定并获取所需的模型版本。 ```python from modelscope import snapshot_download model_dir = snapshot_download('Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4') ``` 另一种方式同样采用`snapshot_download`方法但从不同路径加载相同或相似配置下的模型实例[^2]： ```python from modelscope.hub.snapshot_download import snapshot_download model_dir = snapshot_download('qwen/Qwen2-VL-7B-Instruct', cache_dir='ai_models') ``` #### 准备开发环境 对于希望直接操作源码而不立即改变全局包管理状态的开发者来说，在本地克隆Swift项目仓库是一个不错的选择；这允许团队成员基于特定分支开展工作而无需立刻影响到其他依赖关系。需要注意的是关于某些外部依赖项（如PyTorch版本、Transformers库的具体提交记录等），建议跟踪官方文档或相关Issue页面获得最新指导[^3]。 ```bash git clone https://github.com/modelscope/swift.git cd swift # 可选：根据实际需求决定是否执行以下命令以安装必要的软件包 # pip install -e .[llm] # 关注此ISSUE了解更多信息: https://github.com/QwenLM/Qwen2-VL/issues/12 # 安装torch及其他辅助工具 pip install torch>=2.4 pip install git+https://github.com/huggingface/transformers@21fac7abba2a37fae86106f87fcf9974fd1e3830 pip install accelerate pyav qwen_vl_utils ``` 完成上述准备工作之后，即可按照个人应用场景进一步探索如何高效地集成和优化该预训练模型性能了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值