QwenVL微调问题记录

最新推荐文章于 2025-05-21 14:31:32 发布
最新推荐文章于 2025-05-21 14:31:32 发布
阅读量471 收藏
点赞数 4
CC 4.0 BY-SA版权
文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44908396/article/details/141820107

1.多卡lora微调报错1 validation error for DeepSpeedZeroConfig进而引发torch.distributed.elastic.multiprocessing.errors.ChildFailedError:问题

解决方案：将deepspeed降级到0.14.4

2.ImportError: /root/.cache/torch_extensions/py38_cu118/fused_adam/fused_adam.so: undefined symbol: _ZN3c104cuda9SetDeviceEi

解决方案：将pytorch降级，并保持与本机cuda版本一致，我本机cuda为11.7,我安装了2.0的torch

3.oom问题

解决方案：降低max_length或者lora微调中降低秩，原来框架中秩为64

博主环境如下：

硬件：V100-32G*8

软件：ubuntu18.04

conda环境：

魔障阿Q
关注
swift微调牧歌数据电商多模态大语言模型
liguandong
06-11 1172
大规模中文多模态评测基准MUGE_数据集-阿里云天池多模态理解和生成评估挑战榜（MUGE）是由阿里巴巴达摩院智能计算实验室发起，由阿里云天池平台承办，并由浙江大学、清华大学等单位共同协办。 Mhttps://tianchi.aliyun.com/dataset/107332微调的是牧歌数据集，结果都不好，记录一下。微调了qwenvl和llava，都是一样的类似结果，需要对数据做进一步的分析。 1.数据 用的是牧歌ECommerce-IC数据，本项任务涵盖了服装、饰品、化妆品内的多个商品类目，对于一件商品
【03】LLaMA-Factory微调大模型——多模型部署
H66778899的博客
07-17 3429
【03】LLaMA-Factory微调大模型——多模型部署
qwen2.5-vl：阿里开源超强多模态大模型（包含使用方法、微调方法介绍）
热门推荐
sherlockMa的博客
01-28 3万+
Qwen2.5-VL是由阿里巴巴通义千问团队推出的一款开源视觉语言模型，它在视觉理解、多模态交互以及自动化任务执行等方面展现出卓越的能力。该模型不仅能够识别常见的物体，如花卉、鸟类、鱼类、昆虫等，还能深入分析图像中的文本、图表、图标、图形和布局，其通用图像识别能力得到了显著增强，大幅扩展了可识别的图像类别范围。
Qwen-VL大模型LoRA微调、融合及部署
songyang66的博客
07-19 4166
Qwen-VL大模型LoRA微调、融合及部署
在 Linux 本地玩转大模型(二)： QwenVL Lora微调与部署的高效实践
最新发布
Uestc_name的博客
05-21 920
视觉理解能力：Qwen2.5-VL不仅擅长识别常见的物体如花、鸟、鱼和昆虫，而且在分析图像中的文本、图表、图标、图形和布局方面也非常出色。自主代理能力：Qwen2.5-VL可以直接作为视觉代理，能够进行推理并动态指导工具的使用，具备计算机和手机操作的能力。理解和捕捉长视频中的事件：Qwen2.5-VL可以理解超过1小时的视频，并且这次新增了通过定位相关视频片段来捕捉事件的能力。
从零开始微调阿里的qwen_vl_chat模型
weixin_51074012的博客
07-04 2854
通过这个重定向，标准错误输出和标准输出都会被写入 train.log 文件。这个脚本文件名为 finetune_lora_single_gpu.sh，通常用于单 GPU 上进行 LoRA（Low-Rank Adaptation）的微调。模型训练完会保存在output_qwen文件中，想要修改去finetune.py 脚本中修改 --output_dir参数。重定向输出的目标文件名。这里是 train.log，用于保存命令的标准输出。">"重定向符号，将命令的标准输出（stdout）重定向到文件。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8954
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
1张图片+3090显卡微调Qwen-VL视觉语言大模型（仅做演示、效果还需加大数据量）
进一寸有一寸的欢喜
04-23 5316
一张图微调qwen-vl
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 5068
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别
anneCoder的博客
02-20 1299
为了提升人脸情感识别的准确性和鲁棒性，本文采用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现对人脸情感的高效识别。通过数据准备、模型配置、训练和评估等步骤，我们成功地构建了一个高效的人脸情感识别模型。在微调之前，需要配置模型参数和数据集路径。注意：上述代码中，加载模型和预测的部分被省略了，实际应用中需要使用合适的代码加载微调后的模型，并进行预测。注意：上述代码中，标签的读取部分被省略了，实际应用中需要从labels.csv等文件中读取标签信息，并添加到labels列表中。
【VLMs篇】01：Qwen2_VL微调实操喂饭教程
u013010473的博客
01-10 1743
在普通的图片抽屉打开/关闭识别任务中，强如GPT-4o也只有50~60%的准确率，所以为了让我们的VLM模型能够准确的识别图中抽屉是打开还是关闭的，基于Qwen2_VL进行自定义数据集的微调。
可以成功Lora微调的Qwen-VL模型.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！
大模型系列——旋转位置编码和长度外推
hang on it more longer
12-30 1134
return (在上面这段代码中，inv_freq对应的是各分量的旋转角度，长度为d/2这里的t为提前把所有可能的位置id 都先取好，并与对应的角度相乘，对应公式中的m，计算出来的矩阵freqs维度为（self.max_seq_len，d/2）。emb这样取每一行，即对应这个id下的所有m值。通过cat，拼接出来的emb后半部分和前半部分是一致的，维度变成d。
Qwen-VL-Chat进行Qlora微调全过程讲解
VRWanders的博客
10-03 2137
Qwen-VL-Chat大模型进行Qlora微调全流程详细讲解。包括qwen大模型部署，推理，数据集准备，微调，以及报错的解决方案。全网最详细的讲解！
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2655
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
【多模态大模型教程】在自定义数据上使用Qwen-VL多模态大模型的微调与部署指南
python1234_的博客
06-18 6913
提供了这个脚本供用户实现在自己的数据上进行微调的功能，以接入下游任务。此外还提供了shell脚本减少用户的工作量。这个脚本支持 DeepSpeed 和 FSDP。
Qwen-1.8B微调记录（Qlora）
hey_guyhey_guy的博客
12-18 1272
还是下不下来包，于是发现python版本是3.6，这是因为在新建环境时没有指定python版本，所以新开了一个环境，重新下载，这次连torch也下不下来了，问了kimi说这个代码可以自动处理依赖，需要把后面的cu113换成自己nVidia显卡对应的cuda版本，然后正常运行，叽里咕噜下来一大堆东西，刚开始下的时候很快，后面就很难，扫了一眼有什么pillow，numpy的，想复制一下包名结果以外中止了程序。如果您的 Python 版本不在这个范围内，您可能需要安装一个兼容的 Python 版本。
llama factory运行deepspeed zero3 stage3_prefetch_bucket_size Input should be a valid integer
weixin_45769992的博客
09-09 2034
这个问题出现在 DeepSpeed 的后续版本中，是由于 Pydantic 的类型检查引起的。具体来说，当 stage3_prefetch_bucket_size 选项设置为 auto 时，Accelerate 会根据模型的隐藏层大小来计算这个值。然而，我怀疑在这个过程中，它可能没有被正确地转换为整数，从而导致了错误。这个错误表示 stage3_prefetch_bucket_size 在你的 DeepSpeed。配置中被设置为一个浮点数，但它应该是一个整数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值