本地化模型部署与应用

一、本地化部署的意义和 方法（WHY）

1.常见的大模型：ChatGPT、文心一言等，特点都是在线的模型，受限于网络和各种服务端限制

2.AI PC 强调使用本地的资源自由自主的运行大模型，本地化部署是核心

3.Ollama https://ollama.com/ 和LM Studio https://lmstudio.ai/

4.这里我们选择更加方便的ollama，运行第一个本地化模型，下载安装后ollama后，命令行运行:

ollama run qwen:14b

然后展开对话吧。

为什么是Ollma

无限接近docker的使用方法。带来方便的模型管理方式。

Ollama 支持的模型列表 https://ollama.com/library

不只是当前先进的语言模型，另外支持向量模型

二、本地化部署的模型能做什么(WHAT)

仅仅是运行一个模型么？本地化部署的意义：实现更强的功能

离大模型落地应用最近的工程化技术(RAG)

1.大模型自身的缺陷：模型滞后（时间落后）、模型幻觉（答非所问）、私有数据匮乏。

为解决这个问题：训练、微调、提示词功能、RAG分别从不同的角度，以不同的代价和效果来增强模型功能。

1. 训练模型 (Training a Model)

• 定义：从头开始训练一个模型，通常在大型数据集上进行。

• 优点：

• 可以针对特定任务从头开始学习。

• 能够获得与任务高度相关的模型表示。

• 缺点：

• 需要大量的标注数据和计算资源。

• 训练时间较长。

2. 微调模型 (Fine-tuning a Model)

• 定义：在预训练模型的基础上，针对特定任务进行额外的训练。

• 优点：

• 利用预训练模型的知识，减少所需数据和计算资源。

• 快速适应新任务。

• 缺点：

• 可能存在领域偏差，如果任务与预训练数据差异较大。

• 需要足够的领域特定数据进行有效微调。

3. 提示词工程 (Prompt Engineering)

• 定义：设计问题或任务的表述方式，以指导预训练模型生成期望的输出。

• 优点：

• 无需改变模型权重，通过调整输入来影响输出。

• 灵活，可以针对各种不同的任务快速设计提示词。

• 缺点：

• 需要创造性地设计有效的提示词，这可能需要试错。

• 对于复杂的任务，可能需要多个提示词或复杂的提示结构。

4. Retrieval-Augmented Generation (RAG)

• 定义：结合检索机制和序列生成模型，首先检索相关信息&#