DeepSeek爆了，普通人如何3小时完全从0训练自己的大模型

今天为大家介绍一个特别实用的开源项目 - MiniMind。它让我们可以用普通电脑，在短短 3 小时内训练出一个迷你版的 ChatGPT！

1、为什么这个项目这么特别？

目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计，把模型参数压缩到了最小，让个人开发者也能亲手训练 AI 模型！

最小版本仅有 26M 大小（约为 GPT-3 的 1/7000），一张普通的游戏显卡就能运行。项目提供了完整的训练流程：

1. 基础语言能力训练（预训练）
2. 对话能力训练（指令微调）
3. 快速适应新任务（LoRA 微调）
4. 优化回答质量（DPO 偏好对齐）

环境需要

CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz
内存：128 GB
显卡：NVIDIA GeForce RTX 3090(24GB) * 2
环境：python 3.9 + Torch 2.1.2 + DDP单机多卡训练

• Ubuntu == 20.04
• Python == 3.9
• Pytorch == 2.1.2
• CUDA == 12.2
• requirements.txt（本项目环境依赖）

2、实际应用场景

1. 个性化助手开发

你可以训练一个针对特定领域的 AI 助手，比如：

• 客服机器人：根据公司产品知识库训练
• 教育辅导：针对特定学科的习题讲解
• 行业助手：为特定行业提供专业建议

2. 技术学习与研究

• 了解大语言模型的工作原理
• 实践各种训练方法
• 尝试模型优化和改进

3. 产品原型验证

• 快速验证 AI 产品创意
• 测试不同场景下的效果
• 收集用户反馈进行迭代

3、技术亮点解析

轻量级架构

• 采用 Transformer 的 Decoder-Only 结构
• 使用 RMSNorm 预标准化提升性能
• 引入旋转位置编码处理长文本

创新的专家模型版本（MoE）

• 提供 4×26M 的混合专家模型
• 通过专家分工提升模型能力
• 保持较低的计算资源需求

灵活的部署选项

• 支持单卡/多卡训练
• 兼容主流深度学习框架
• 提供网页交互界面

4、上手有多简单？

只需几步就能开始：

# 1. 克隆项目
git clone https://github.com/jingyaogong/minimind.git

# 2. 安装依赖
pip install -r requirements.txt

# 3. 开始对话测试
python 2-eval.py

如果想要可视化界面，还可以使用内置的网页版：

streamlit run fast_inference.py

5、定制大模型

1. 克隆项目代码

git clone https://github.com/jingyaogong/minimind.git
cd minimind

2. 环境安装

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 测试torch是否可用cuda
import torch
print(torch.cuda.is_available())

如果不可用，请自行去 torch_stable 下载 whl 文件安装。参考链接，

https://blog.csdn.net/weixin_45456738/article/details/141029610

3. 自己训练数据集

• 下载数据集放到./dataset目录下

• python data_process.py 命令处理数据集，例如 pretrain 数据提前进行 token-encoder、sft 数据集抽离 qa 到 csv 文件

• 在./model/LMConfig.py

  这里仅需调整 dim 和 n_layers 和 use_moe 参数，分别是(512+8)或(768+16)，对应于minimind-v1-small和minimind-v1

• python 1-pretrain.py 执行预训练，得到 pretrain_*.pth 作为预训练的输出权重

• python 3-full_sft.py 执行指令微调，得到 full_sft_*.pth 作为指令微调的输出权重

• python 4-lora_sft.py 执行 lora 微调（非必须）

• python 5-dpo_train.py 执行 DPO 人类偏好强化学习对齐（非必须）

6、持续进化中

项目正在快速发展，目前已支持：

• 文本对话：流畅的中英文交互
• 视觉理解：可以理解和描述图像
• 知识更新：持续优化训练数据
• 性能提升：不断改进模型结构

最后

MiniMind 降低了 AI 开发的门槛，让更多人能够参与到大语言模型的探索中来。无论你是：

• 想入门 AI 的开发者
• 需要定制化 AI 助手的企业
• 对语言模型感兴趣的研究者

这个项目都能帮你快速起步，并在实践中不断成长。

我的DeepSeek部署资料已打包好（自取↓）
https://pan.quark.cn/s/7e0fa45596e4

但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里！

❗️为什么你必须了解大模型？

1️⃣ 薪资爆炸：应届大模型工程师年薪40万起步，懂“Prompt调教”的带货主播收入翻3倍

2️⃣ 行业重构：金融、医疗、教育正在被AI重塑，不用大模型的公司3年内必淘汰

3️⃣ 零门槛上车：90%的进阶技巧不需写代码！会说话就能指挥AI

（附深度求索BOSS招聘信息）

⚠️警惕：当同事用DeepSeek 3小时干完你3天的工作时，淘汰倒计时就开始了。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？老师啊，我自学没有方向怎么办？老师，这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！当然这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！