Ollama 是一个用于在本地部署和运行大型语言模型(LLM)的工具,支持多种开源模型。它简化了模型的下载、部署和交互过程,特别适合开发者和研究人员在本地环境中使用。
1. 安装 Ollama
首先,你需要在本地机器上安装 Ollama。Ollama 支持 macOS 和 Linux 系统。
macOS 安装
brew install ollama
Linux 安装
curl -fsSL https://ollama.ai/install.sh | sh
2. 下载模型
Ollama 支持多种开源模型,如deepseek、 LLaMA、GPT-J 等。可以通过命令行下载所需的模型。
例如,下载 deepseek-r1:1.5b 模型:
ollama pull deepseek-r1:1.5b