模型调参大法，让你的模型更进一步！

大家好，我是 Bob! 😊

一个想和大家慢慢变富的 AI 程序员💸

分享 AI 前沿技术、项目经验、面试技巧!

欢迎关注我，一起探索，一起破圈！💪

模型调参

首先需要牢记一个点：模型选型和数据质量决定了任务的底线，而调参只是锦上添花（也可能雪上加霜）的工作

所以优先考虑模型与数据，再考虑微调，能不调就不调。

模型与数据

任务

首先要明确任务是分类、回归、生成、排序

模型架构

不同的模型架构在同意任务上的性能不一。选择合适的架构（gpt,bert,T5等等）。

模型复杂度

选择一个与数据复杂度相匹配的模型大小。模型过于简单可能导致欠拟合，而过于复杂则可能过拟合。

计算资源

考虑可用的GPU、内存和计算时间。复杂模型往往需要更多资源

数据特性

考虑数据的维度、规模、结构（如图像、文本、时序数据等）和质量

训练参数调整（Train）

Loss function

如果你使用transfomers，他会根据你的任务来做调整。一般是交叉损失。。具体使用MSE、Cross entropy、Focal还是其他自定义，需要具体问题具体分析。

batch_size

batch size不能太大，也不能太小，一般设置为4的倍数。看算例资源来定（可选1、2、4、8、16）

1. 太小会浪费计算资源，

2. 太大则会浪费内存;

per_device_train_batch_size: 1

gradient_accumulation_steps

batch size 在表示学习，对比学习领域一般越大越好，但是显存不够batch_size小，累计梯度（gradient_accumulation_steps）来凑，否则模型可能不收敛… 其他领域看情况;

gradient_accumulation_steps: 2

learning_rate

一般nlp bert类模型在2e-5级别附近,范围一般在（1e-5~5e-3），warmup，衰减

前期warnup是为了防止梯度爆炸，让模型训练更加稳定。因为模型权重初始是随机的

中期期warmup后，高学习率是跳出局部最优。

后期学习率（如consin）退火是为了减少震荡，稳定地收敛，找到全局最优。

learning_rate: 2e-4

lr_scheduler_type: "cosine"

warmup_ratio: 0.1

Epoch number

Epoch过大，会浪费计算资源;epoch太小，则训练模型提取特征没到极致；，

由于任务的复杂程度不一样，需要输出loss看一下，在什么位置收敛稳定。

可以设置epoch_num=3，调大一点，利用好check_point。观察模型收敛稳定， 及时stopping；

num_train_epochs: 3.0

Optimizer

Adam

Activation function

ReLu、Sigmoid、Softmax、Tanh是最常用的4个激活函数。

对于输出层，常用sigmoid和softMax激活函数，中间层Q常用ReLu激活函数，RNN常用Tanh激活函数。

Regularization

Dropout虽然思想很简单，但效果出奇的好，现在大部分任务都需要使用预训练型，要注意型内部dropout ratio是一个很重要的参数，首选0.05，

微调方案LORA

r: rank也就是LoRA的低秩的秩的大小)，较小的 r 导致更简单的低秩矩阵，从而导致在适应过程中学习的参数更少,模型的复杂度变低。

这可以加快训练速度，并可能降低计算需求，但是低秩矩阵捕获特定于任务的信息的能力就会降低。可能会导致模型难以收敛。

（默认值是8），建议4/8/16.视任务复杂情况来确定。

alpha:alpha 是一个比例因子，这个系数用于在前向传播过程中将 LoRA 权重应用于预训练之中，用于调整组合结果的大小（原始模型输出加上低秩适应）。一般16，alpha越大lorad的影响就越大，反之越小。

将alpha值设置为r的两倍是一个常见的经验法则

lora_r: 16
lora_alpha: 32
lora_dropout: 0.05

模型量化BitsAndBytes

如果资源有限，一般使用bitsandbytes进行量化。一般选择4、8位， 考虑现有算力资源。

quantization_bit: 4

推荐FP8，数据表示位数的降低带来了更大的吞吐和更高的计算性能，虽然精度有所降低，但是在 LLM 场景下，采用技术和工程手段，FP8 能够提供与更高精度类型相媲美的结果，同时带来显著的性能提升和能效改善。

Bob 的产品

1.【Bob 的 AI 成长陪伴群】

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！