myhappyandy的博客

这里的ollama是通过容器的方式部署在了GPU服务器上，Linux服务器为open-webui提供服务。最近又更新了deepseek R1模型，所以理论上是可以通过chatbox调用容器中的ollama接口进行提供服务的。如果是本机运行，127.0.0.1没问题，但是如果是容器中，已经经过nat，那么127.0.0.1就无法映射出来。主要也是ollama在windows部署起来也是很简单的，如果内网中，多个机器部署还是有些浪费资源，故想要使用chatbox直接调用服务器上的ollama就好了。

因为我最近在离线的机器上部署了一个ollama+open—webui的方式，运行在公司电脑。过完年后，爆火的deepseek R1已经有模型下载了，于是就有了今天这个操作。之前是用的deepseek v2，也该更新了…

1.下载好镜像，并运行起来2.进入容器中，执行命令拉取ollama模型3.将镜像保存，和拉取的ollama模型保存4.拷贝到内网，用最终命令run起镜像，防火墙运行端口5.浏览器访问，愉快使用。编辑:myhappyandy。

[TOC](本地离线部署ChatGlm4TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argunent ‘padding_side’)