Ollama
- 下载源码
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
- 启动
export OLLAMA_HOST=0.0.0.0:11434
ollama serve
- 访问ip:11434看到即成功
Ollama is running
手动安装deepseek1.5b
https://modelscope.cn/
- 下载GGUF文件
- 将GGUF上传到服务器,同目录下创建模型文件dsr1-1.5b.txt,注意第一句FROM后是GGUF的文件名
FROM DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7