Dify - 整合Ollama + Xinference私有化部署Dify平台(02 )通过Docker安装Dify


在这里插入图片描述


总体方案

在这里插入图片描述

  • ollama 和 Xinference 管理模型,需要充分利用GPU, 故这里不选择使用Docker安装。

  • Dify 使用Docker安装


服务器

幕僚云按需租几台服务器

在这里插入图片描述

选择合适的镜像:机器学习框架镜像

在这里插入图片描述

开启学术加速代理

目前机器学习框架镜像默认集成学术加速,需要手动开启学术加速代理

请在终端中使用以下命令开启学术加速。

source /etc/network_turbo

备注:如果network_turbo文件不存在,北京一区、北京二区、北京三区等使用此命令设置相关代理

export http_proxy=http://10.132.19.35:7890

export https_proxy=http://10.132.19.35:7890

步骤预览

cd dify
cd docker
cp .env.example .env
docker compose up -d

1. 下载源码

(py38) root@vmInstancecmvl766w:~# df -h
Filesystem                         Size  Used Avail Use% Mounted on
udev                                56G     0   56G   0% /dev
tmpfs                               12G  9.3M   12G   1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv   48G   18G   28G  38% /
tmpfs                               56G     0   56G   0% /dev/shm
tmpfs                              5.0M     0  5.0M   0% /run/lock
tmpfs                               56G     0   56G   0% /sys/fs/cgroup
/dev/sda2                          2.0G  378M  1.5G  21% /boot
/dev/sdb                            49G   24K   47G   1% /data
/dev/loop1                          64M   64M     0 100% /snap/core20/2501
/dev/loop2                          92M   92M     0 100% /snap/lxd/24061
/dev/loop0                          64M   64M     0 100% /snap/core20/2434
/dev/loop3                          92M   92M     0 100% /snap/lxd/29619
/dev/loop4                          45M   45M     0 100% /snap/snapd/23258
/dev/loop5                          45M   45M     0 100% /snap/snapd/23771
tmpfs                               12G     0   12G   0% /run/user/0
(py38) root@vmInstancecmvl766w:~#
(py38) root@vmInstancecmvl766w:~# cd /data/
(py38) root@vmInstancecmvl766w:/data#
(py38) root@vmInstancecmvl766w:/data# git clone  https://github.com/langgenius/dify.git
Cloning into 'dify'...
remote: Enumerating objects: 154717, done.
remote: Counting objects: 100% (878/878), done.
remote: Compressing objects: 100% (500/500), done.
remote: Total 154717 (delta 695), reused 378 (delta 378), pack-reused 153839 (from 5)
Receiving objects: 100% (154717/154717), 88.33 MiB | 14.53 MiB/s, done.
Resolving deltas: 100% (111349/111349), done.
(py38) root@vmInstancecmvl766w:/data#


2. 修改Dify端口号

在这里插入图片描述
查找 EXPOSE_NGINX_PORT ,修改为自己原因设置的端口号

(py38) root@vmInstancecmvl766w:/data/dify/docker# grep EXPOSE_NGINX_PORT  .env
EXPOSE_NGINX_PORT=8890

在这里插入图片描述


3. 使用docker启动Dify

docker compose up -d

在这里插入图片描述
修改: 进入/etc/docker/daemon.json文件 ,然后在里面加入下面的配置

{
  "registry-mirrors": ["https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"]
}
 

如果上面的源不行了,重新再换一个源,比如如下:

"https://docker.unsee.tech",
"https://dockerpull.org",
"https://docker.1panel.live",
"https://dockerhub.icu",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://registry.docker-cn.com",
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://5tqw56kt.mirror.aliyuncs.com",
"https://docker.hpcloud.cloud",
"http://mirrors.ustc.edu.cn",
"https://docker.chenby.cn",
"https://docker.ckyl.me",
"http://mirror.azure.cn",
"https://hub.rat.dev"

在这里插入图片描述

然后在终端重新启动一下docker

systemctl daemon-reload

systemctl restart docker

重新启动
在这里插入图片描述
根据网速不同,等待片刻,即可

在这里插入图片描述

docker ps  

在这里插入图片描述


4. 本地访问Dify

因为用的是云平台,所以需要根据映射的端口来访问Dify的服务 ,根据映射

在这里插入图片描述

访问IP:24264
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

### 部署方案概述 在 CentOS 7 上部署 DeepSeek-R1 模型并集成 Dify 知识库的过程可以分为以下几个部分:准备操作系统环境、安装 DockerDocker Compose、通过 Ollama 下载和运行 DeepSeek 模型、配置 Dify 并连接到模型服务。以下是详细的说明。 --- #### 一、操作系统的准备工作 CentOS 7 是一个较为稳定的 Linux 发行版,但在某些方面可能不如较新的发行版(如 Rocky Linux 或 Ubuntu)。需要注意的是: - **软件包支持**:CentOS 7 的默认仓库中可能存在过旧的软件版本,因此需要手动启用 EPEL (Extra Packages for Enterprise Linux) 来获取更多更新的工具和支持[^1]。 - **依赖项兼容性**:Rocky Linux 9.5 被用于初始部署案例,其内核和基础库更接近现代标准。而 CentOS 7 使用较老的基础架构,可能会遇到一些兼容性问题,特别是在处理最新容器技术时。 ```bash sudo yum install epel-release -y sudo yum update -y ``` --- #### 二、DockerDocker Compose 安装 为了确保一致性,建议使用与引用中的相同版本号来减少潜在冲突风险。对于 CentOS 7: 1. 添加官方 Docker CE 存储库: ```bash sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo ``` 2. 安装 Docker Engine: ```bash sudo yum install docker-ce docker-ce-cli containerd.io -y ``` 3. 启动并设置开机自启: ```bash sudo systemctl start docker && sudo systemctl enable docker ``` 4. 关于 `docker-compose` 版本的选择,推荐采用 v2.x 系列以匹配最新的功能需求[^2]: ```bash sudo curl -SL https://github.com/docker/compose/releases/download/v2.33.1/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 验证安装成功与否可以通过命令测试: ```bash docker --version docker-compose --version ``` --- #### 三、Ollama 中加载 DeepSeek 模型 利用 Ollama 提供的服务接口简化大型语言模型管理流程。具体步骤如下所示: 1. 创建一个新的目录作为工作区,并切换至该路径下执行后续指令; 2. 初始化项目结构文件夹树形图示意如下: ``` project/ ├── ollama_config.json └── models/ └── deepseek_r1_7b/ ``` 3. 运行以下脚本来完成镜像拉取任务: ```bash mkdir -p ./models/deepseek_r1_7b cd ./models/deepseek_r1_7b # 替代方法调用硅基流动API实现无缝衔接过程描述见参考资料[^3] ollama pull deepseek-r1:7b ``` 注意这里强调了如果直接尝试访问官网提供的 RESTful 接口存在不稳定因素,则需考虑间接途径解决此难题。 --- #### 四、Dify 环境搭建及其关联设定 最后一步就是把前面所构建好的组件串联起来形成完整的解决方案框架——即引入 Dify 应用来统一管理和调度各个子模块之间的交互逻辑关系。 初始化数据库表单定义语句片段举例展示如下形式书写方式遵循 SQL 标准语法习惯即可满足基本要求条件限制范围之内合理调整参数数值大小适应实际应用场景特点差异情况作出相应修改优化改进措施提升整体性能表现水平达到预期目标效果最佳状态呈现出来供大家参考学习借鉴经验积累共同进步成长发展下去不断探索未知领域开拓创新思路方向引领未来趋势走向更加辉煌灿烂明天迎接挑战克服困难勇往直前无惧风雨一路向前迈进! ```sql CREATE TABLE IF NOT EXISTS knowledge_base ( id INT AUTO_INCREMENT PRIMARY KEY, content TEXT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` 随后按照文档指引完成必要的字段映射规则制定以及索引创建等工作环节之后便能够顺利启动应用程序进入正常运转模式当中去了呢😊 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小工匠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值