【大模型部署实践-2】本地模型参数调用踩坑记录

最新推荐文章于 2025-04-04 20:34:42 发布
最新推荐文章于 2025-04-04 20:34:42 发布
阅读量1.1w 收藏 45
点赞数 43
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40302568/article/details/135028085
版权
文章讲述了作者在使用Huggingface库时遇到的一系列问题，包括Tokenizers缺失、内存不足、模型设备定位错误、CUDA版本不匹配等，并提供了相应的解决方案，如设置`trust_remote_code`、指定`offload_folder`、更新PyTorch和CUDA版本等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、背景

从modelscope手动下载了bin参数放在本地文件夹，需要加载并运行。

二、问题及解决

错误1：

ValueError: Tokenizer class XXXTokenizer does not exist or is not
currently imported.

解决方案

AutoTokenizer.from_pretrained和AutoModelForCausalLM.from_pretrained参数中加上trust_remote_code=True

错误2：

ValueError: The current device_map had weights offloaded to the
disk. Please provide an offload_folder for them. Alternatively, make
sure you have safetensors installed if the model you are using
offers the weights in this format.

解决方案

AutoModelForCausalLM.from_pretrained的参数中加上offload_folder="offload_folder"

最低0.47元/天 解锁文章
多模型部署的资源调度机制实战指南：GPU 分配 × 动态切换 × 多实例组合
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-03 917
简单说：✅ 每个模型独立运行在一个进程 / 容器 / 显卡上，互不干扰✅ 每个服务暴露不同端口，对接网关统一管理✅ 一个模型挂了，不会影响其他模型场景推荐部署方式单机、多模型、资源充足Supervisor + 多服务云端部署 / 团队协作资源紧张 / 模型较小多 adapter 热切换 + 单服务极限显存控制轮询式模型加载（一次只加载一个）用法示例获取显卡数量当前 GPU ID设置默认 GPU创建张量在指定卡上移动模型到指定卡。
FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试
weixin_42357472的博客
09-23 1482
参考： https://github.com/lm-sys/FastChat https://blog.csdn.net/qq128252/article/details/132759107 web使用 1）启动控制器 2）启动模型工作 3）web服务启动 打开网址查看： 按照报错信息需要更改： /site-packages/fastchat/serve/inference.py增加trust_remote_code=True
deepseek大模型部署踩坑心得
lishanlu136的博客
02-13 1634
deepseek-r1大模型部署
Pytorch遇到的错误及解决方法
zx93的博客
09-15 3533
Pytorch遇到的错误及解决方法
手动将ModelScope的模型下载到本地
最新发布
qq_50247813的博客
04-04 1632
ModelScope 官网地址： https://www.modelscope.cn/home模型库地址：https://www.modelscope.cn/models文档中心：https://www.modelscope.cn/docs/homeModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！
【Pytorch】模型摘要信息获取、模型参数获取及模型保存的三种方法
AIGC | 智能洞察，创造未来
06-06 1093
模型摘要信息获取、模型参数获取及模型保存的三种方法
解决报错ValueError: The current `device_map` had weights offloaded to the disk. Please provide an `offlo
m0_60657960的博客
05-28 2515
AutoModelForCausalLM.from_pretrained的参数中加上offload_folder="offload_folder"，将模型参数卸载到内存中，时间换空间，解决直接加载权重显存不足问题。（注：有cuda，因为装环境的时候cuda可能没有正确安装，不能直接gpu加载导致电脑运行大模型的模型文件时，没有找到gpu，电脑只能加载cpu导致内存不够）一种方法如果是你的电脑没有gpu。确保你电脑正确安装cuda。如果你的电脑有gpu。
【Accelerate】accelerate-large-models （RuntimeError: Expected all tensors to be on the same device……）
零碎@流年絮语 的博客
10-01 751
此方法需要预先估计，每一层一定是在同一个设备上的。
linux下系统磁盘以为断电而无法启动
ret_skd的专栏
03-19 2828
讲道理这种事情其实很常见，但是对于新手来说还是比较难缠的。因为操作系统是由缓存的，一旦突然断电，缓存中的数据没有写入磁盘，就有可能造成文件系统的损坏。 虚拟机遇到这种问题的话，可以先把虚拟硬盘放在其他的虚拟机上，将磁盘挂载起来，基本都是第一个分区的文件系统不能够使用，如果无法挂载起来，会提示错误。 然后可以使用fsck查看和修复下。 如果本地磁盘的VGname和需要修复的磁盘重复了，因为默认
通义千问开源模型部署使用
AlgoRain的博客
08-10 3135
首先可以参考modelScope社区给出的使用文档，已经足够全面但在按照文档中步骤部署时，还是有些错误问题发生，可以搜索参考的解决方式不多，所以记录下来。
【大模型部署实践-3】3个能在3090上跑起来的4bits量化Chat模型（baichuan2-13b、InternLM-20b、Yi-34b）
qq_40302568的博客
12-18 2231
3090上部署13b以上的LLM（记录分享）
别再踩这些坑！国产大模型部署十大常见错误（经验血书）
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-02 1298
能部署模型的人不一定写得出 LoRA，但能“复现 + 修复 + 总结”这些坑的人，一定是能落地国产大模型系统的人。
DeepSeek R1 部署笔记（个人无框架部署，缓慢更新中）
weixin_48713918的博客
02-24 441
新电脑显卡 4060Ti 8G准备部署 DeepSeek-R1-Distill-Llama-8B。
LLM学习笔记(2)--本地部署ChatGLM3
2303_81265404的博客
09-05 840
配置来配置去，成功配置出一堆bug...
从零开始训练一个GPT大语言模型
在网搬砖的日常
08-02 1325
分词(tokenization) 是把输入文本切分成有意义的子单元（tokens）。[{‘generated_text’: ‘吕布回·曹操怒�\xa0却说姜维’}]
LoRA6~Stable Diffusion
whaosoft143ai的博客
02-23 1447
LoRA 风格化的本质还是修改输出图片的分布，数据集的质量基本上决定了生成的质量，其他参数的影响不会很大（包括训练图片的文本标签）。SD 只是一个生成任意图片的模型。之后，为了获取两张图片的插值，我们可以对两张图片 DDIM Inversion 的初始隐变量及两个 LoRA 分别插值，用插值过的隐变量在插值过的 SD LoRA 上生成图片就能得到插值图片。我在几乎没有调试 LoRA 参数的情况下得到了这样的结果，可见虽然训练一个高质量的随机生成新画风的 LoRA 难度较高，但只是做风格迁移还是比较容易的。
Baichuan2百川模型部署的bug汇总
lsf_007的博客
01-17 843
1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。3.安装对应的cuda版本 Python版本 pytorch版本。ag：需要再cli_demo.py的文件中增加。
安装stable-diffusion的错误 xformers 安装解决
热门推荐
GranteZhou的专栏
07-19 3万+
3、注意这里的版本，如果安装的版本不对，会卸载你的原安装正常的pytorch版本，导致你的环境变得无法使用。比如我安装的torch-2.0.1+cu118，对应的是xformer0.0.19等都是错误的，导致需要重新卸载，重新安装。4、如果出现因安装xformers而卸载已经安装好的torch，可以先直接卸载torch和xformers，再运行webui-user.bat 脚本（直接运行webui-user.bat，不要带参数）重新安装torch。2、安装完SD后，启动出现xformers未安装的情况。
几行代码教你轻松完成超大模型推理：LLaMA-30B+TITAN RTX*4+accelerate
qq_36618444的博客
07-06 2932
是不是苦于没有ChatGPT的API key或者免费的token而无法愉快地和它玩耍？想不想在有限的计算资源上部署大模型并调戏大模型？？想不想解锁大模型的除了对话之外的其它功能？？？几行代码教你搞定如何在有限的计算资源下部署超大模型并实现推理。
llama2大模型本地部署
01-29
Llama2大模型本地部署是指将Llama2大模型应用于本地服务器或个人计算机上。这种部署方式相比于在云平台上进行部署，可以提供更高的计算效率、更低的延迟以及更好的隐私保护。 要进行Llama2大模型的本地部署，首先需要确保服务器或计算机具备足够的计算资源和存储空间，以支持模型的运行。其次，需要下载并配置Llama2大模型的文件和依赖项，这些文件可以从开发者或官方网站上获取。 一旦配置完成，可以启动Llama2大模型，并根据需要进行参数设置。Llama2大模型通常具备交互式的命令行界面或API接口，可以通过输入指令或调用接口来使用模型。用户可以根据自己的需求，对输入数据进行预处理或转换。 在模型运行过程中，可以监控其运行状态和性能指标，如CPU占用率、内存使用情况等。如果发现模型存在性能问题或异常情况，可以在本地进行调试和优化。 此外，为了保证Llama2大模型的安全性，需要加强本地计算机或服务器的防火墙设置，限制外部访问和保护数据的隐私。 总之，Llama2大模型的本地部署可以提供更高的计算性能和更好的隐私保护。但是需要考虑本地计算资源和存储空间的限制，以及对模型进行配置、调试和优化的工作量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aq_Seabiscuit

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值