如何估算LLM推理和训练所需的GPU内存？

最新推荐文章于 2025-03-10 19:52:07 发布
最新推荐文章于 2025-03-10 19:52:07 发布
阅读量1.3k 收藏 9
点赞数 28
CC 4.0 BY-SA版权
文章标签： 人工智能 transformer llama 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012374012/article/details/141594378

        在实际工作中，经常有人问，7B、14B或70B的模型需要多大的显存才能推理？如果微调他们又需要多大的显存呢？为了回答这个问题整理一份训练或推理需要显存的计算方式。如果大家对具体细节不感兴趣，可以直接参考经验法则评估推理或训练所需要的资源。更简单的方式可以通过这个工具[1]或者huggface官网计算推理/训练需要的显存工具[2]在线评估。

1.数据精度

        开始介绍之前，先说一个重要的概念——数据精度。数据精度指的是信息表示的精细程度，在计算机中是由数据类型和其位数决定的。如果想要计算显存，从“原子”层面来看，就需要知道我们的使用数据的精度，因为精度代表了数据存储的方式，决定了一个数据占多少bit。目前，精度主要有以下几种：

  • 4 Bytes: FP32 / float32 / 32-bit

  • 2 Bytes: FP16 / float16 / bfloat16 / 16-bit

  •  1 Byte: int8 / 8-bit

  • 0.5 Bytes: int4 / 4-bit

2.经验法则

  •  推理: 参数量 * 精度。

例如，假设模型都是16-bit权重发布的，也就是说一个参数消耗16-bit或2 Bytes的内存，模型的参数量为70B，基于上述经验法则，推理最低内存需要70B * 2Bytes = 140G。

  •  训练: 4 - 6 倍的推理资源。

3.推理

        在模型推理阶段，需要的资源主要有三部分：模型的权重、KV Cache和激活（在推理过程中创建的张量）。

最低0.47元/天 解锁文章

200万优质内容无限畅学
cv2016_DL
关注
大模型训练与推理真正需要多少 GPU？(公式含python计算代码)
iCloudEnd的博客
05-23 1675
大型语言模型彻底改变了 NLP 领域，使语言翻译、文本摘要、问答等应用成为可能。这些模型包含数百万甚至数十亿个参数，这些参数是在使用大量数据进行训练时学习的。然而，运行这些模型需要大量的计算资源。在本文中，我们将深入研究运行法学硕士所需的计算要求，探讨影响其复杂性的因素以及对硬件和软件开发人员的影响。您对训练和运行模型所需的计算资源感兴趣吗？请允许我更深入地研究细节👇🏼。
大模型推理显存需求
强化学习曾小健
06-27 5492
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
大模型训练内存预估计算方法
junjunzai123的博客
02-05 3369
不过，在实际应用中，硬盘等存储设备的制造商通常按照1GB=1000MB，1MB=1000KB，1KB=1000B的进制来计算容量，这就导致在操作系统中查看存储设备容量时，显示的容量会略小于按照1024进制计算的结果。参数（2字节） + 梯度（2字节） + 动量（2字节） + 方差（2字节） = 8字节/参数。B = Billion（十亿）, 因此，671B模型指拥有6710亿参数的模型。- 1GB=1024MB（兆字节）- 1MB=1024KB（千字节）- 1KB=1024B（字节）每个参数占用 2字节。
LLM大模型训练/推理的显卡内存需求计算
新缸中之脑
09-23 2949
无论你是从头开始训练 LLM、对其进行微调还是部署现有模型，选择合适的 GPU 对成本和效率都至关重要。在这篇博客中，我们将详细介绍使用单个和多个 GPU 以及不同的优化器和批处理大小进行 LLM 训练和推理时 GPU 要求的所有信息。计算机处理器由多个决定性电路组成，每个电路都可以处于关闭或打开状态。就内存而言，这两种状态由 0 或 1 或位表示。一组八位称为一个字节。1 个字节可以表示零（00000000）和 255（11111111）之间的数字，或 28（等于 256 个不同位置）。
LLM 大语言模型显存消耗估计与计算
weixin_42823298的博客
07-24 2177
这个工具的计算的结果，针对代码加入到Transformers中的模型，计算结果有参考价值。针对本地模型，计算可能会不准确。这个工具可以做什么？如何使用？此工具如何设置？什么情况下需要设置？处理来自第三方的自定义配置Timm是什么？是huggingface的开发库，主要面向图像处理模型此工具的计算值与实际运行时的差异有多大？造成差异的原因有那些？本文使用Wanda方法，已在Github上开源**源码：**https://github.com/locuslab/wanda环境配置。
[NLP]LLM 训练时GPU显存耗用量估计
摩登都市天空---专栏
08-12 2万+
32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 1M * 4Byte = 4MB。现在的quantization技术就是减少参数量所占的位数：比如我用16位存储，那么：所需要的存储空间的大小即为：1M * 16 bit = 16Mb = 2MB。GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte=3GB显存, 但是模型状态实际上需要耗费1.5B*16=24GB.
大模型项目落地时，该如何估算模型所需GPU算力资源
kcarly的专栏
06-22 4970
大模型项目落地时，该如何估算模型所需GPU算力资源。在大模型项目落地前期沟通时，对于算力估算和采购方案许多小伙伴不太了解，在此对相关的算力估算和选择进行一些经验总结。
如何计算和优化 LLM 部署所需的 GPU 内存 ?
2401_85324918的博客
09-03 1505
那以下这些PDF籍就是非常不错的学习资源。考虑到目前市面上的 GPU，例如 NVIDIA 的 A100，每张卡片通常配备 80 GB 内存，这意味着至少需要两张这样的 GPU 来支持模型的部署。现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。
服务大型语言模型 (LLM) 需要多少 GPU 内存？
ms44的专栏
08-28 825
在几乎所有的 LLM 面试中，都会出现一个问题：“服务大型语言模型 (LLM) 需要多少 GPU 内存？这不仅仅是一个随机问题——它是衡量您对这些强大模型在生产中的部署和可扩展性的理解程度的关键指标。在使用 GPT、LLaMA 或任何其他 LLM 等模型时，了解如何估算所需的 GPU 内存至关重要。无论您处理的是 7B 参数模型还是更大的模型，正确调整硬件大小以服务这些模型都至关重要。让我们深入研究数学知识，以帮助您估算有效部署这些模型所需的 GPU 内存。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2929
TensorFlow相关组件的安装
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
热门推荐
Johntill的博客
09-01 2万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
LLM - 训练与推理过程中的 GPU 算力评估
BITDDD小栈
10-31 1万+
LLM 训练、推理流程中 GPU 算力的计算。
模型训练和推理过程中GPU显存都被哪些部分占用了
weixin_42254289的博客
08-01 764
模型训练和推理过程中GPU显存都被哪些部分占用了
大模型训练和推理所需的显存计算
最新发布
qq_45943646的博客
03-10 1564
单层激活值显存：约2.29 GB全模型激活值显存：约91.6 GB推理阶段，所需要的显存：推理阶段显存 = 模型参数显存 + KV Cache显存 + 激活值显存KV Cache显存 = 批次大小 × 模型层数 × 序列长度 × (键矩阵大小 + 值矩阵大小) × 2字节单层KV Cache显存 = 1 × 序列长度 × 隐藏层维度 × 2= 20,971,520字节≈ 20 MB总KV Cache显存 = 单层KV Cache显存 × 模型层数≈ 800 MB。
LLM大模型显存计算
weixin_40777649的博客
01-12 9450
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
深入解析 DeepSeek-R1 模型的显存与内存需求
gs80140的专栏
02-07 1万+
DeepSeek-R1 系列模型涵盖从轻量级到超大规模的多个版本，适用于不同的应用场景。了解各版本在不同量化精度下的显存和内存需求，有助于选择适合自身硬件配置的模型。
部署 LLMs 前如何计算与优化 GPU 内存需求？
Baihai_IDP的博客
10-10 1130
在 LLMs 推理过程中，主要消耗 GPU 内存的几部分包括权重（模型参数）、键值缓存内存（Key-Value Cache Memory）、激活值（Activations）与临时缓冲区（Temporary Buffers），以及系统开销（Overheads）（如果你对并行处理或分布式计算有所研究，可能对这个概念已有一定的认识）。主要是KV缓存大量增加，因为模型权重和系统内存开销保持不变，KV 缓存会随着 tokens 数量和并发请求的增加而大幅增加，矩阵的行数就会越多，从而直接增加内存消耗。
LLM训练与推理的内存需求计算
m0_59163425的博客
07-24 1584
大型语言模型（LLM）通常需要耗费巨大的算力资源，往往包含数十亿个参数，并且需要在数TB的数据上进行训练。近十年来，得益于计算能力的显著提升，以及新型优化技术和架构的出现，开发如此庞大的模型才成为可能。尽管在这些方面已取得了重大进展，但由于算力资源的限制和模型的专有性，LLM的广泛应用仍面临诸多挑战。举例来说，据估计，仅训练GPT-4一个模型的成本就高达约一亿美元。不过，随着Llama 3等开源模型的出现，各类企业和个人现在可以使用并定制这些模型。
LLM推理实现流水线
03-08
### 实现大型语言模型 (LLM) 的推理流水线 构建高效的 LLM 推理流水线涉及多个方面，包括但不限于数据预处理、模型加载与优化以及实际的推理过程。 对于输入的数据，在进入核心推理阶段之前通常需要经过一系列预处理操作。这可能涉及到分词(tokenization)，即将自然语言文本转换成适合喂给神经网络的形式；编码(encoding)，把分词后的结果映射为数值表示形式以便于计算设备理解并进一步处理[^1]。 当准备就绪之后，则需考虑怎样高效地加载训练好的 LLM 权重文件，并对其进行必要的性能调优措施来加速后续查询响应速度。这里可以利用诸如 PyTorch 或 TensorFlow 这样的框架所提供的工具集来进行量化或者剪枝等技术手段降低资源消耗的同时保持较高的准确性水平[^2]。 最后便是执行具体的预测任务了。为了提高吞吐量和支持并发请求的能力，往往采用异步编程模式配合批量(batching)机制一起工作——即一次性收集一定数量待解码的任务集合再统一提交至 GPU 上完成运算，从而减少单位时间内 I/O 开销占比提升整体效率[^3]。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("model_name") model = AutoModelForCausalLM.from_pretrained("model_name").to('cuda') def preprocess(text_input): inputs = tokenizer(text_input, return_tensors="pt", padding=True).to('cuda') return inputs async def infer_async(input_data_batch): with torch.no_grad(): outputs = await model.generate(**input_data_batch) return outputs ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值