linux部署ollama+deepseek+dify

Ollama

  1. 下载源码
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  1. 启动
export OLLAMA_HOST=0.0.0.0:11434
ollama serve
  1. 访问ip:11434看到即成功

Ollama is running

手动安装deepseek1.5b

https://modelscope.cn/

  1. 下载GGUF文件
    在这里插入图片描述
    在这里插入图片描述
  2. 将GGUF上传到服务器,同目录下创建模型文件dsr1-1.5b.txt,注意第一句FROM后是GGUF的文件名
FROM DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf    
PARAMETER temperature 0.7         
### 在 Ubuntu 上通过 Ollama 部署 DeepSeekDify 要在 Ubuntu 上成功部署 DeepSeekDify 并集成 Ollama,以下是详细的说明: #### 一、安装并配置 Ollama Ollama 是一个轻量级工具,用于管理和运行大型语言模型。可以通过以下命令下载和安装 Linux 版本的 Ollama[^3]。 ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 完成安装后,启动 Ollama 服务: ```bash ollama start ``` 验证 Ollama 是否正常工作: ```bash ollama list ``` 如果一切顺利,则可以继续下一步。 --- #### 二、配置 Dify 使用 Ollama API 端点 Dify 提供了一个灵活的框架来管理多个大语言模型的服务端点。为了使 Dify 能够调用 Ollama 中托管的模型,在其配置文件中指定 Ollama 的 API 地址[^1]。 编辑 `dify/config.yaml` 文件(假设已克隆项目),找到对应的部分并将 Ollama 的地址设置如下: ```yaml model_providers: ollama: api_base_url: http://localhost:11434 ``` 保存更改后重启 Dify 应用程序以应用新的配置。 --- #### 三、拉取 RAGFlow 源码并与 DeepSeek 结合构建知识库 RAGFlow 是一种基于检索增强生成的方法,能够帮助用户快速建立自己的个性化知识库。按照 b 站视频中的指引操作[^2],从 GitHub 获取最新版 RAGFlow 源代码,并将其与 DeepSeek 进行适配。 执行以下 Git 命令获取仓库内容: ```bash git clone https://github.com/your-repo/RAGFlow.git cd RAGFlow pip install -r requirements.txt ``` 随后调整脚本参数使其支持 DeepSeek 模型加载逻辑。 --- #### 四、安装 GUI 工具简化交互体验 对于希望拥有更直观界面的操作者来说,推荐尝试由 Python 实现的小型图形化前端——`ollama_gui`[^4]。它允许使用者无需编写复杂指令即可轻松控制后台进程。 安装方法非常简单: ```bash python -m pip install ollama_gui ``` 之后只需输入下面这句就能打开窗口界面: ```bash python -m ollama_gui ``` 此时应该可以看到连接状态以及可用选项列表。 --- #### 总结 综上所述,整个流程涵盖了基础环境搭建、软件间协作设定还有用户体验优化等多个方面的工作。每一步都至关重要,缺一不可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值