开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）

最新推荐文章于 2025-04-09 20:00:00 发布
最新推荐文章于 2025-04-09 20:00:00 发布
阅读量3.8w 收藏 346
点赞数 382
分类专栏： 开源模型-实际应用落地 # 开源大语言模型-vllm推理加速的正确姿势 文章标签： 自然语言处理 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq839019311/article/details/141020851
版权

一、前言

    在应对业务访问量级提升的过程中，我们通过从单机单卡部署升级到单机多卡部署的方式，成功实现了VLLM模型的性能提升。在此过程中,我们遇到了一些问题和挑战，现在我将深入剖析这些经验教训，希望能够帮助大家快速上手部署可投入生产运行的环境。

    本次采用入门级的4090双卡 24GB显存的配置，部署Meta-Llama-3.1-8B-Instruct 模型。

    Meta-Llama-3.1-8B-Instruct 模型具有众多显著的好处。它能够凭借出色的语言理解和生成能力，精准地理解用户输入的各种复杂指令，并生成逻辑清晰、内容丰富且连贯的高质量回复。其在多语言处理方面表现出色，可轻松应对不同语言的输入和输出，拓宽了应用场景和用户群体。为用户带来更加优质和个性化的服务体验。

二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. Meta-Llama-3.1-8B-Instruct

    新的 Llama 3.1 模型包括 8B、70B、405B

了解本专栏 订阅专栏 解锁全文 超级会员免费看
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct-Lora与vllm-单机多卡-RTX 4090双卡（十五）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-12 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct和Lora权重
【Llama3.1-8B-Instruct】Llama Factory 等部署实战
weixin_52103117的博客
08-20 3077
Meta Llama 3.1 系列是一个多语言大型语言模型 (LLM) 集合，包括 8B、70B 和 405B 三种尺寸（文本输入/文本输出）。Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，并在常见的行业基准测试中超越了许多现有的开源和闭源聊天模型。Llama 3.1 支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它在多语言任务中表现出色，并具有增强的推理、数学和代码执行能力。
Vllm进行Qwen2-vl部署（包含单卡多卡部署及爬虫请求）
m0_74824091的博客
02-06 1246
阿里云于今年9月宣布开源第二代视觉语言模型Qwen2-VL，包括 2B、7B、72B三个尺寸及其量化版本模型。Qwen2-VL具备完整图像、多语言的理解能力，性能强劲。相比上代模型，Qwen2-VL 的基础性能全面提升，可以读懂不同分辨率和不同长宽比的图片，在 DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；可以理解 20 分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；
体验下Meta-Llama-3.1-8B
wozai2513的博客
07-28 723
在网上下到了Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf；将lm studio 更新到0.2.28。试了下，体验下最新的科技。
Meta 发布 Llama3.1，一站教你如何推理、微调、部署大模型
机器学习社区
07-28 2668
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。
大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（五）定义图
段智华的博客
06-18 1206
router,router,},这段代码定义了一个工作流，使用了一个名为StateGraph的类来创建一个状态图，它是一个有向图，其中的节点代表状态或操作，边代表状态之间的转换条件。：创建了一个StateGraph实例，它使用AgentState类型作为节点状态的数据结构。：向工作流中添加节点。节点与相关联。节点与chart_node相关联。节点与tool_node相关联。：向工作流中添加条件边。这些边基于router从节点出发，根据router函数的结果，可以转换到或结束状态（END 。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 3939
使用ms-swift高效微调qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡-基准测试（十三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-08 3万+
4090单机双卡部署vllm和qwen2-7b-instruct，执行基准测试
Vllm部署deepseek 单机多卡部署
m0_71833495的博客
03-26 510
调用curl http://127.0.0.1:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "自己下载模型位置", "prompt": "你好", "max_tokens": 1000, "temperature": 0 }'用anaconda conda环境部署 前提是装好anaconda（在Linux系统中）并且下载模型到自己的指定位置。创建一个conda环境 与系统环境隔离 避免驱动什么的冲突。
vLLM实战：单机多卡大模型推理部署指南
最新发布
目标检测、LLM相关
04-09 902
vLLM的单机多卡部署流程可概括为：环境配置→模型下载→参数调优→服务验证。关键点包括：1.确保CUDA、PyTorch与vLLM版本兼容。2.根据GPU数量设置–tensor-parallel-size。3.通过–gpu-memory-utilization平衡显存与性能。
【Meta开源大模型Meta-Llama-3.1测试】
AI最前沿
07-29 1005
受资源限制，本次只测试meta-llama/Meta-Llama-3.1-8B-Instruct。升级transforms至4.43.1后解决。于是改用魔搭社区提供的版本。
vllm在h100单机多卡上部署异常记录与可以尝试的解决方案
weixin_40941102的博客
11-26 4626
错误的核心是尝试在不存在的CUDA设备上设置设备，可能的原因包括设备编号超出范围、CUDA环境配置不正确或分布式执行中的设备问题。通过检查设备编号、CUDA配置以及使用调试工具可以帮助定位并解决问题。^^^^^^^^^^^^^^^^从日志来看，vLLM在启动时发生了，提示 “Engine process failed to start”，并且未能找到具体根因。同时，提示有泄漏的信号量对象。
大模型推理：vllm多机多卡分布式本地部署
sunny0121的博客
07-09 2万+
ubuntu中采用docker和vllm进行多机多卡大模型本地部署
Llama3.1 8B模型
遗失的神庙
07-25 1118
模型地址：https://github.com/meta-llama/llama-models/blob/main/models/llama3_1模型下载：https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct中文对齐过的模型：https://modelscope.cn/models/shareAI/llama3.1-8b-instruct-dpo-zh
试用 Llama-3.1-8B-Instruct AI 模型
一叶不知秋
11-27 866
IT 从业人员累的一个原因是要紧跟时代步伐，甚至是被拽着赶，更别说福报 996. 从早先 CGI, ASP, PHP, 到 Java, .Net, Java 开发是 Spring, Hibernate, 而后云时代 AWS, Azure, 程序一路奔波在掌握工具的使用。而如今言必提的 AI 模型更是时髦，n B 参数, 量化, 微调, ML, LLM, NLP, AGI, RAG, Token, LoRA 等一众词更让坠入云里雾里。所以在手机上可以离线轻松跑一个 1B 的模型。
Llama3-8B+ LLaMA-Factory 中文微调
2401_84052244的博客
04-23 9496
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
【LLM微调】Llama3.1-8B模型中文版！OpenBuddy发布新一代跨语言模型
2301_81940605的博客
08-01 1467
Meta发布了新一代开源模型系列：Llama3.1。其中405B参数的版本刷新了开源模型性能的上限，在多种指标上的测试成绩接近GPT-4等闭源模型的水平，甚至在部分基准测试中展现出来了超越头部闭源模型的潜力。
GLM-4-9B开源模型：超越Llama-3-8B的多模态能力
该模型在语义、数学、推理、代码和知识等多方面的数据集测评中都表现出色，超越了Llama-3-8B。GLM-4-9B有两个版本，一个是普通的GLM-4-9B，另一个是人类偏好对齐的版本GLM-4-9B-Chat。此外，还有多模态模型GLM-4V-9B...
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开源技术探险家

以微薄之力温暖这个世界

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值