搭建本地AI知识库问答系统

haojiajin

已于 2024-07-15 08:39:24 修改

阅读量1.3k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：人工智能

于 2024-07-10 09:40:58 首次发布

本文链接：https://blog.csdn.net/haojiajin/article/details/140267900

人工智能专栏收录该内容

2 篇文章

订阅专栏

1、Docker服务安装

安装教程：Ubuntu 安装 Docker

2、Ollama安装

2.1 下载ollama并安装：Ollama

// 查看是否安装正常
ollama --version

2.2 下载大语言模型

以阿里通义千问14(8.2G)B为例（根据自己需求及服务器配置确定）
在这里插入图片描述

// 下载语言模型
ollama run qwen:14b

验证是否安装成功
在这里插入图片描述

2.3 下载向量模型

在这里插入图片描述

ollama pull shaw/dmeta-embedding-zh

// 测试语言模型api请求是否可以正常使用
curl 'http://localhost:11434/api/chat' \
--data '{
    "model": "qwen:7b",
    "messages": [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
    "temperature": 0.1,
    "stream": false
}'
// 测试向量模型api请求是否可以正常使用
curl 'http://localhost:11434/api/embeddings' \
--data '{
  "model": "shaw/dmeta-embedding-zh",
  "prompt": "天空是灰色的"
}'

2.4 下载 docker 文件和 config 文件

mkdir kbqa
cd kbqa
curl -O https://harryai.cc/kbqa/docker-compose.yml
curl -O https://harryai.cc/kbqa/config.json

// 安装docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
// 赋予二进制文件可执行权限
sudo chmod +x /usr/local/bin/docker-compose
// 启动 docker 并后台运行
docker-compose up -d

2.5 修改ollama服务配置文件

// 编辑文件
vim /etc/systemd/system/ollama.service
// 添加环境变量
Environment="OLLAMA_HOST=0.0.0.0"
// 重载 systemd 并重启 Ollama
systemctl daemon-reload
systemctl restart ollama

在这里插入图片描述
测试是否成功
地址栏输入：http://ip:11434
出现 Ollama is running 代表配置成功

3、配置One API渠道

访问路径http://ip:3001
在这里插入图片描述

// 查看模型列表
ollama list
// 查看运行的模型
ollama ps

配置qwen:7b和shaw/dmeta-embedding-zh

4、配置FastGPT

4.1 配置应用

注意：不管配置了啥最好都重启一下
访问路径http://ip:3000

创建AI对话
在这里插入图片描述

如果列表中没有自己安装的本地模型，可进行修改配置文件
进入到docker容器安装目录，修改config.json

修改配置文件后执行 docker restart fastgpt 重新启动容器

4.2 配置知识库

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/286563e815164fdcae86d89a286e7aeb.png

索引模型和文件处理模型中没有的话在config.json中进行配置，配置后重新启动fastgpt容器