OLLaMA搭建本地大模型

LLMChain是一个简单的链，接受一个提示模板，使用用户输入格式化它并从LLM返回响应。
其中，prompt_template是一个非常关键的组件，可以让你创建一个非常简单的链，它将接收用户输入，使用它格式化提示，然后将其发送到LLM。

1. 配置OLLaMA

在使用LLMChain之前，需要先配置OLLaMA，OLLaMA可以运行本地大语言模型，模型名称如下：
https://ollama.com/library
每个模型都有其特点和适用场景:

1. Llama 2：这是一个预训练的大型语言模型，具有7B、13B和70B三种不同规模的模型。Llama 2增加了预训练语料，上下文长度从2048提升到4096，使得模型能够理解和生成更长的文本。
2. OpenHermes：这个模型专注于代码生成和编程任务，适合用于软件开发和脚本编写等场景。
3. Solar：这是一个基于Llama 2的微调版本，专为对话场景优化。Solar在安全性和有用性方面进行了人工评估和改进，旨在成为封闭源模型的有效替代品。
4. Qwen:7B：这是一个中文微调过的模型，特别适合处理中文文本。它需要至少8GB的内存进行推理，推荐配备16GB以流畅运行。
   综上所述，这些模型各有侧重点，用户可以根据自己的需求选择合适的模型进行使用。
   下载的模型列表，可以通过以下命令来查看：

ollama list
NAME                ID              SIZE    MODIFIED     
llama2:latest       78e26419b446    3.8 GB  38 hours ago    
llama2-chinese:13b  990f930d55c5    7.4 GB  2 days ago      
qwen:7b             2091ee8c8d8f    4.5 GB  7 days ago      
qwen:latest         d53d04290064    2.3 GB  2 days ago 

1.1 安装

ollama官网 https://ollama.com/

1.2 下载模型

以通义千问模型为例：
ollama run 模型名
ollama run qwen:7b

qwen下载.png