本地算力部署大模型详细流程（二）

本文链接：https://blog.csdn.net/weixin_46370595/article/details/146236124

1、前景回顾

上一篇我们通过ollama本地部署了一个DeepSeek，因为没有前端操作页面，我们只能使用cmd的方式和deepseek对话体验感并不是很好，下面我们通过Docker部署一个前端页面（Open WebUI）

Open WebUI地址：https://github.com/open-webui/open-webui

在这里插入图片描述

2、Open WebUI安装

通过如下命令安装：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

在这里插入图片描述

2.1 测试

浏览器输入地址：http://ip:3000 回车
在这里插入图片描述

2.2 配置环境变量

因为我的ollama部署在本地，open-webui部署再云服务器，所以需要配置环境变量

配置远程访问

在我们本地部署好ollama之后，仅支持本机访问，我们可以通过修改环境变量让其他人可以远程访问。

在wins电脑上增加环境变量：

OLLAMA_ORIGINS="*" 
OLLAMA_HOST=0.0.0.0:11434

在这里插入图片描述

2.3 使用open-webui

在这里插入图片描述

3、数据投喂训练AI

实现数据投喂训练AI，需要下载nomic-embed-text和安装AnythingLLM。

nomic-embed-text：用于生成文本的嵌入向量，将文本转换为数值形式，便于AI模型处理和分析。
AnythingLLM：一个工具或平台，用于管理和训练AI模型，支持数据投喂和模型优化，帮助提升AI性能。

两者结合，可实现数据预处理和模型训练，提升AI效果。