- 博客(318)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 在910A上量化大语言模型问题记录
本文介绍了在Ascend 910PremiumA NPU环境下对DeepSeek-R1-Distill-Qwen-32B模型进行8位量化(W8A8)的过程。操作步骤包括执行量化命令，处理量化后文件(约41GB)，以及解决两个关键报错：1) 需要在config.json中添加"quantize": "w8a8"参数；2) 需将quant_model_description.json重命名为quant_model_description_w8a8.json或通过"
2025-06-23 23:06:45
416
原创 使用mindie部署qwen2_vl分析视频
使用mindie1.0部署qwen2_vl_72b模型，可以用来分析图片了。现在想分析视频。看了下mindie文档，支持视频分析的。
2025-05-07 11:18:48
974
原创 在昇腾环境中编译TEI报错及解决
mindie目前不支持embedding及rerank部署，在昇腾部署这2种模型需要修改原生的tei框架支持npu并编译，这里总结下编译tei遇到的错误及解决方法。在 Linux 环境下，CPLUS_INCLUDE_PATH 是一个专门用于 C++ 编译器（如 g++、clang++）的环境变量，它的作用是指定额外的头文件搜索路径。C_INCLUDE_PATH：仅影响 C 编译器。原因分析：我设置的ASCEND_RT_VISIBLE_DEVICES=7. 所以对容器内的算法来说，npu7就是第一张卡。
2025-04-17 22:15:26
759
原创 知识库Qanyting部署问题总结
etcd对数据目录的权限要求比较严格，建议设置为只有所有者有读写执行权限，也就是700（drwx------）。而当前的权限是777，意味着所有用户都有完全访问权限，这可能导致安全隐患，所以etcd在启动时检查到这个不符合要求，就报错了。解决方法：qanything_kernel/connector/llm/llm_for_openai_api.py中将temperature从0改为0.6。需要确保数据目录的所有权和权限正确。之前映射的etcd目录下有之前开发保存的文件，全部清空重建目录就好了。
2025-04-17 21:47:03
554
原创 使用python访问mindie部署的vl多模态模型
今天使用mindie1.0部署了qwen2_7b_vl模型，测试过程出现一些问题，这里总结下。
2025-04-08 23:25:07
828
原创 mindie1.0新特性及调试问题总结
最近在ascend 310P3上使用mindie 1.0部署模型，跟我以前使用的mindie 1.0_rc2比，有很多新的特性和变化，导致部署出现了不少问题。这里罗列下我的发现，希望对其他人有用。
2025-04-08 23:05:14
1149
3
原创 sqlalchemy:将mysql切换到OpenGauss
之前的方案是fastapi+sqlalchemy，测试下来发现不用改代码，只要改下配置即可。之前python的项目使用的mysql，近期要切换到国产数据库OpenGasuss。解压安装包后，会得到两个目录 lib 和 psycopg2。
2025-03-29 14:35:23
685
原创 使用unsloth进行grpo强化学习训练
unsloth框架可以进行各种sft训练，包括lora和grpo训练。我参考官方方法，使用模型Qwen2.5-3B-Instruct和数据集gsm8k，写了一个grpo训练的例子。这个代码加载模型Qwen2.5-3B-Instruct和数据集gsm8k。训练完成后先保存lora模型然后保存合并后的模型。
2025-03-16 17:10:26
788
原创 使用unsloth进行grpo训练报错及解决方法
前段时间用unsloth尝试了grpo训练，简单复现了deepseek用到的强化学习训练方法。解决办法：将PatchFastRL(“GRPO”, FastLanguageModel)放在import trl之前。所以我的解决方法是：pip后面加上–trusted-host。错误分析：传入的学习率类型是str，改为float类型就好了。原因：docker 启动时忘记加–ipc=host了。解决办法：docker run时加上–ipc=host。解决办法：安装diffusers。我之前设置了清华的pip源。
2025-03-16 16:58:51
805
1
原创 vllm使用api离线推理大模型
可以使用llm.generate()或者llm.chat()进行推理。使用后者的时候必须传入chat_template参数。》介绍使用vllm将大模型服务化。实际上vllm也支持离线推理。我写了一个离线推理的例子，并且可以让用户多次输入。我之前写过一个博客《
2025-03-16 16:37:31
776
原创 使用vllm docker容器部署大语言模型
假设"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"被下载到了/mnt/llm_deploy/目录下，则模型的绝对路径是/mnt/llm_deploy/DeepSeek-R1-Distill-Qwen-32B，后面部署会用到这个目录。上面映射了目录/mnt/llm_deploy/到容器内部的/home/llm_deploy，则容器内看到的模型目录是/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B。搜索最新的vllm镜像。
2025-02-11 22:21:16
7926
4
原创 deepseek本地部署需要多少显卡资源
参考资料：部署DeepSeek-V3、R1模型浮点权重至少需要4台Atlas 800I A2（8x64G）服务器，W8A8量化权重至少需要2台Atlas 800I A2（8x64G服务器）上述方法可将deepseek量化为W8A8或者W8A16模型。
2025-02-07 22:59:05
2267
原创 如何下载huggingface模型到本地
我以前都是在浏览器里一个个下载，最近看手册发现何以用程序下载，我用deepseek写了一个下载的程序。上述程序会先获取模型的所有文件，然后按个下载，下载过程会显示进度条。
2025-02-06 10:42:39
1579
1
原创 昇腾环境ppstreuct部署问题记录
报错很明显，找不到/root/.paddleclas/inference_model/PULC/text_image_orientation/inference.json这个文件，这个文件目录是自动下载的模型目录，的确没这个文件。应该是百度的模型格式改了，导致找不到。也就是将其它算子修改名字和配置假装是StridedSliceAssignD算子。我没事，网上说这个方法有效。我是在华为昇腾910B3上测试的PPStructure。模型加载出错，查看plog看到如下打印。
2025-01-18 16:04:18
759
原创 昇腾部署onnx模型问题总结
解析输出tensor出错了。前两个输出Tensor名字分别是output0和output1，第三个是onnx::Reshape_1276。在export onnx的时候，指定opset 12。再用atc转换为om模型就不报错了。我猜测和名字里的前缀有关，可能是“::”导致解析失败。后来测试印证了我的猜想。修改onnx模式输出节点名称，将输出节点中包含“onnx::”前缀去掉。而我用的atc版本比较旧，猜测是opset版本太高导致atc不支持。通过netron来看onnx，发现是opset19的模型。
2025-01-15 20:51:41
963
原创 mindie推理大语言模型问题及解决方法汇总
很多问题表现为GIL相关的问题，实际都是业务进程出错了，真实原因往往在logs/pythonlog.log.xxxx中。
2024-12-23 21:23:17
3111
原创 vllm启动大语言模型时指定chat_template
"content": "你是我的小助理"},"content": "告诉我你是谁"],}'
2024-10-14 21:29:46
9185
2
原创 vllm使用BitAndBytes量化模型失败
意思是vllm不支持在bitsandbytes量化后的模型中使用tensor并行加速，也就是–tensor-parallel-size的值不能大于1。
2024-09-08 16:04:29
2460
原创 对象存储数据库minio的持久化存储
启动容器目录映射了一个目录到docker内的/bitnami/minio/data。这个目录存储持久化数据到磁盘，重启容器也不担心丢失。但如果使用的是minio/minio镜像，则需将映射目录映射到docker的/data目录。我这里拉取的是bitnami/minio，它比官方的minio/minio更强大。
2024-09-03 20:50:57
661
原创 使用docker部署tensorrtllm推理大模型baichuan2-7b
大模型的推理框架，我之前用过vllm和mindie。近期有项目要用tensorrtllm，这里将摸索的过程记录下，特别是遇到的问题。我的环境是Linux+rt3090。
2024-09-03 20:32:11
2039
3
原创 昇腾环境下使用docker部署mindie-service
MindIE是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架。它包含了MindIE-Service、MindIE-Torch和MindIE-RT等组件。我主要用MindIE-Service的功能，这个组件对标的是vllm这样的大语言推理框架。
2024-07-08 20:22:45
4994
10
原创 使用vllm部署大语言模型
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
2024-07-08 19:32:37
4981
原创 在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。
2024-07-02 18:22:01
3003
原创 什么是指令微调（LLM）
经过大规模数据预训练后的语言模型已经具备较强的模型能力，能够编码丰富的世界知识，但是由于预训练任务形式所限，这些模型更擅长于文本补全，并不适合直接解决具体的任务。指令微调是相对“预训练”来讲的，预训练的时候是使用大量无标注的文本，让模型每次都预测下一个字符的方式来训练。而指令微调也可以叫“监督微调”，也就是对于输入文本有标准答案，用标准答案来训练模型。一般预训练完毕后就要进行指令微调，经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。
2024-06-28 18:25:03
5170
1
原创 将huggingface的大模型转换为safetensor格式
很多huggingface的大语言模型都是pytorch的格式，但是mindie需要safetensor格式，另外mindieservice加载原始的baichuan2-13b的模型出错，后来排查是bfloat16数据格式的问题，所以这次转换要一次性转为float16的格式。看下模型下的config.josn文件，可以看到torch_dtype已经变为float16格式，转换之前这里是bfloat16。可以看到多了safetensor结尾的模型，原来bin后缀的也没删。
2024-06-27 14:07:24
2314
原创 解决llama-factory运行中的No module named ‘_bz2‘和No module named ‘_lzma‘
在llama-factory执行lora微调时，按照手册安装了依赖，微调还是遇到错误。可以看到我出错的代码位于/usr/local/python3.10.2。这个库是有的，但是位置是/usr/lib/python3.10/我是在华为昇腾训练服务器的docker内遇到的。，我用类似的方法一并解决了。
2024-06-27 11:06:19
824
原创 在昇腾开发环境合并baichuan2-13B模型的lora文件
别人使用lora的方式对baichuan2-13b的模型进行了微调训练，希望我能部署到mindie服务中。"base_model_name_or_path": "/home/xxxxx/baichuan-inc/Baichuan2-13B-Chat", #这里是微调基础模型路径。。。。。。。。。。
2024-06-24 18:00:25
1003
原创 LLM中的few-shot是什么意思
我上篇博客写了我做的测试Baichuan2-13B模型的一些工作，测试过程免不了要修改代码，在代码中接触了下所谓的few-shot。比如，所谓2-shot，就是在提示词里提供两个问题和答案，让大模型以为自己回答过问题，后面生成文本会参考前面的内容。2-shot的提示词如下：而0-shot，或者zero-shot在正式的问题前面就没有追加的例子。
2024-05-22 16:36:06
957
原创 baichuan2-13b-base的C-Eval得分简析
可以看到偏记忆、偏文的容易得高分，偏理工科（特别是数学）容易得低分，数学的得分和瞎猜差不多，四个选项随机选也能得0.25左右啊。最终平均得分0.587。
2024-05-22 16:15:27
613
原创 深度学习口型驱动Visemenet使用小结
看官网资料，他们主要是做口型动画的，他们的主要方法和概念在论文《》里有介绍。他们通过观察发现，人们发音时的动作有两个重要维度，一是下巴骨骼的运动，二是嘴部肌肉的运动。而不同的说话"风格"，可以通过调整这两个维度从而捕捉到更有表达力的口型。比如同一个人用不同的情绪来发同一个音素，其口型差距巨大。不同的发音方法对应的嘴唇宽度和下巴位移量都不一样。在JALI的坐标轴中，五种风格的发音分布如下。其横坐标是下巴位移，纵坐标是嘴唇形变。当然，除了下巴和嘴唇宽度，正常的视位口型还是需要的。
2024-04-30 19:47:02
1972
原创 使用共振峰提取元音音素/从声音生成口型动画
这个变量是下一步要用的。视位序列内容是0~5的数字，0表示静音状态，1-5分别表示a\o\e\i\u的嘴型视位。》中的方法可以提取音频文件的共振峰，使用三个共振峰作为三个坐标，和标准的元音共振峰求欧氏距离，距离最近的就是对应的原因。由于上面生成的视位fps是40，我在生成视频前将视位id做了滤波，也就是每4个位置进行统计，压缩为一个视位，压缩后的视位就是4个位置上出现最多的视位。所以我生成的视频是10fps的。我选取了a\o\e\i\u的对应的5张图片对应的视位，存到一个名称为viseme的目录下，如下。
2024-04-19 23:20:25
1896
原创 音素与视素（Viseme）
音素(Phoneme)，是人类语言中能够区别意义的最小声音单位。视素(Viseme)，是指与某一音素相对应的嘴、舌头、下腭等可视发音器官所处的状态。Viseme是MEPG4标准提出来的概念。有时Viseme也翻译为视位。下面会混用这两个翻译方法，但意义一样。
2024-04-17 23:10:36
1717
2
原创 使用python+librosa提取共振峰
我的需求是在做动画的时候由音频文件生成嘴型动画，免去做口型的K帧的工作量。在考察了一些技术后，我发现，如果能让算法从音频文件生成音素序列或者blendshaps权重系数序列是比较符合我需求的。离线在线都行，我不需要实时。声音驱动人脸的比较出名的应该是英伟达的Audio2Face，这个方案生成的是Audio2Mesh,不是blendshaps。
2024-04-17 17:38:52
1954
1
原创 口型动画论文2：《基于语音驱动的表情动画设计与实现》
根据音素之间互相影响的规律，按照容易被影响的程度将汉语声母、韵母进行等级的划分，越高级表示越不容易受到影响，如表3-3所示，表3-4所示。根据表格显示的等级，高等级的韵母更不容易受到低等级韵母的影响，高等级的韵母更容易对低等级的韵母、声母产生影响。本文的衍生的成品不是一个软件，而是一段动画，而且是根据已有的语音来设计嘴型动画，作者根据汉语的发声特点设计了14种静态视位。可惜作者是艺术学院的，不是计算机相关专业，最终只是形成了一个给人看的做动画的技能指南，而不是一个自动化的软件工具。
2024-04-13 23:45:21
669
原创 口型动画论文解读1：《与汉语语音同步的三维人脸动画的研究》
这篇论文的成果中也有对表情的的实现。但是很可惜只是简单的表情演示，没有将表情和口型动画结合起来。完全可以增加一个情感分析模块，然后在口型动画中增加表情。
2024-04-13 15:45:30
774
1
原创 汉语语音基本特性
人的发音生理机构如图 2.3.1所示,发音时由肺部收缩送出一股直流空气,经气管流至喉头声门处(声门即声带开口处),在发声之初,声门处的声带肌肉收缩,声带并拢间隙小于 1mm,这股直流空气冲过很小的缝隙,使声带得到横向和纵向的速度,此时,声带向两边运动,缝隙增大(成年男性开到最大时,截面积约为 20mm),声门处压力下降,弹性恢复力将声带拉回平衡位置并继续趋向闭合,即声带产生振动,而且具有一定的振动周期,如图 2.3.2所示。,是一种三维图形,纵轴对应于频率,横轴对应于时间,图像的黑白度正比于语音信号的。
2024-04-01 18:14:57
3002
原创 windows下QT如何集成OpenCV
由于安装的时候我选择的QT组件都是MInGW的，所以无法使用VS studio版本的dll库。在解压opencv后找到x64\mingw\bin目录，复制需要的dll模块到自己的工程下，如果没有特别需要，复制三个最常用的就够了。》中的说法，vs的c++ abi是stdcall， 而mingw使用的调用方式是cdecl。我一开始下载的opencv官方预编译的包，结果一直显示“error: undefined reference to”这样的错误。我是在windows下创建的Cmake类型的Qt工程。
2024-03-29 14:36:06
899
原创 数字人：试用FACEGOOD-Audio2Face的不愉快经历
就像名字中的那样，这其实是一个Audio2Face。主要就是将语音转口型的一个算法，内含了tensorflow的预训练模型，也提供了训练代码。但是该方案还包含了ASR和TTS的流程，包含了一整个问答的流程。中间只缺了连gpt生成内容的部分，这部分代码可以自己加。整体框图如下：上图ASR和TTS之间插入调用大预言模型的代码。不加的话会比较奇怪，自己识别后又TTS。facefood的这个开源不走心，没法用于自己的ARKit方案。除非你打算用官方的116维权重的3D模型。
2024-03-25 11:27:29
2758
3
IT++信号处理和通信C++ 库
2024-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人