AI大模型：（二）3.1 微调训练详解

目录

1.什么是微调

1.1.Zero Shot Learning（零样本学习）

1.2.One Shot Learning（单样本学习）

1.3.Few Shot Learning（少样本学习）

1.4.微调（Fine-tuning）

2.微调方式

2.1.按方法分类（How）

2.1.1.全参微调（Full Fine-tuning）

2.1.2. 部分参微调（Partial Fine-tuning）

2.1.3.参数高效微调（PEFT）

2.1.4. 量化微调（Quantized Fine-tuning）

2.1.5. 混合方法

2.2.按目标分类（Why） 

2.2.1. 任务适配微调（Task-Specific Fine-tuning）

2.2.2. 领域适配微调（Domain Adaptation）

2.2.3. 指令微调（Instruction Fine-tuning）

2.2.4. 人类偏好对齐（Human-Alignment Fine-tuning）

2.2.5. 多任务微调（Multi-Task Learning）

2.2.6. 持续学习（Continual Learning）

2.3.详细说明

3.微调工具

3.1. Unsloth

概述

核心特点

示例代码

3.2. Llama-Factory

概述

核心特点

典型流程

3.3 ms-SWIFT

概述

核心特点

应用示例

3.4.对比总结

       近年来，以GPT、LLaMA为代表的大语言模型（LLM）迅猛发展，推动预训练技术成为人工智能领域的主流范式。 尽管预训练大模型展现出强大的通用能力，但在实际落地时仍需针对垂直场景进行任务适配。相较于需要海量数据和超大规模计算资源的预训练（或从头训练）——这对多数企业和研究机构而言成本过高——模型微调（Fine-Tuning） 提供了一种高效解决方案：通过调整部分模型参数，仅需少量领域数据即可显著提升任务性能，实现资源与效果的平衡。我们提及微调更多是在通用 SFT 训练好的模型基础上再做领域的微调。从传统的全参数微调，到参数高效微调技术（PEFT）如LoRA、Adapter的演进，微调方法持续轻量化，助力大模型在工业场景中的灵活部署。本文将系统梳理核心技术框架与实践路径，帮助开发者低成本释放大模型潜力。

1.什么是微调

       说起微调就提一下Zero