【LLM】一、利用ollama本地部署大模型


前言

        最近,自己在学习一些大模型的相关知识,所以近期会不定时更新大模型的实操指南,这里为LLM系列第一篇文章,主要内容是在本地搭建自己的LLM服务。

        随着AI的发展,越来越多的开软软件供我们选择,如:Hugging Face 、Transformers、LangChain、Ollama、vllm等,本篇以O llama为例,在本地搭建自己的大模型服务。话不多说,正文开始。


一、Ollama 简介

官网地址:ollama官网

1、什么是Ollama

        Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计,极大地简化了大模型在本地运行的过程。对用户来说,只需要通过执行几条命令就能在本地运行开源大模型,如qwen、llama等。

2、特点:

  • 简化部署:Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama 保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • API支持:提供了一个简洁的 API,使得开发者能够轻松创建、运行和管理大型语言模型实例,降低了与模型交互的技术门槛。
  • 预构建模型库:包含一系列预先训练好的大型语言模型,用户可以直接选用这些模型应用于自己的应用程序,无需从头训练或自行寻找模型源。
  •  跨平台支持:提供针对 macOS、Windows(预览版)、Linux 以及 Docker 的安装指南,确保用户能在多种操作系统环境下顺利部署和使用 Ollama。

二、Windows部署

1.下载

<think>好的,用户的问题是关于如何在非C盘本地部署Ollama大模型,特别是修改安装路径的问题。我需要根据提供的引用内容来整理步骤,确保正确性。 首先,用户提到了两个引用,引用1和引用2。引用1详细说明了通过命令行安装Ollama时指定路径的方法,以及设置环境变量OLLAMA_MODELS并重启的重要性。引用2则补充了环境变量的配置步骤,包括Path变量的检查和OLLAMA_MODELS的设置,还有模型拉取的步骤。 接下来,我需要将这两个引用的信息整合成个清晰的步骤指南。用户可能遇到的问题可能包括安装路径未正确指定导致仍然安装在C盘,或者环境变量设置后未重启导致不生效。因此,步骤中需要强调这两点。 步骤应该是命令行安装,指定路径,这里要提醒用户注意格式,比如英文冒号和反斜杠,以及提前创建目录。步骤二是配置环境变量,特别是OLLAMA_MODELS,必须重启。步骤三是验证安装路径是否正确,可能通过模型下载的位置来判断。步骤四涉及模型拉取,这里要提醒用户下载命令和存储路径的确认。最后,常见问题需要涵盖用户可能忽略的重启、路径格式错误以及变量设置错误等情况。 此外,用户可能对命令行操作不太熟悉,所以需要给出具体的示例,比如安装命令的具体格式。环境变量设置的步骤也要详细,包括如何找到系统属性来设置变量。可能还需要提醒用户如果在Python中使用时需要确保Ollama服务运行正常。 检查是否有遗漏的要点,比如引用2中提到在Path中添加Ollama的安装路径,这点在引用1中没有提到,是否需要包含?根据引用2,用户需要检查Path变量是否有Ollama的安装路径,如果没有则新建。这可能影响Ollama的命令行使用,所以应该包含在步骤二中,确保用户的环境变量Path正确设置。 最后,生成相关问题时要考虑用户可能的后续疑问,比如自定义模型路径、环境变量无效的原因、多版本管理以及命令行使用问题。这些问题能帮助用户进步解决部署中的其他问题。 总结,步骤需要分安装、配置环境变量、验证、拉取模型,常见问题部分覆盖主要错误点,确保用户按照步骤操作后能成功在非C盘部署。</think>### 分步指南:Ollama大模型非C盘本地部署方法 #### 步骤1:通过命令行指定安装路径 1. **创建目标目录**:先在非C盘(如`E:\AI\ollama`)新建文件夹,路径建议全英文且无空格 2. **命令行安装**:下载`OllamaSetup.exe`后,在命令行中执行以下命令(注意格式要求): ```bash OllamaSetup.exe /DIR=E:\AI\ollama ``` **关键细节**: - 路径分隔符使用反斜杠`\`,例如`E:\AI\ollama` - 安装目录需提前创建,避免路径错误[^1] #### 步骤2:配置系统环境变量 1. **设置模型存储路径**: - 新建系统变量`OLLAMA_MODELS`,值为非C盘路径(如`D:\OLLAMA`) - 此变量控制模型镜像的存储位置,避免占用C盘空间[^2] 2. **检查Path变量**: - 在用户环境变量`Path`中添加Ollama安装路径(如`E:\AI\ollama`) - 确保命令行可直接调用`ollama`命令[^2] 3. **重启系统**:环境变量生效必须重启(常见错误:未重启导致模型仍下载到C盘) #### 步骤3:验证安装路径 1. 打开命令行输入`ollama --version`,确认返回版本号 2. 检查`OLLAMA_MODELS`指向目录(如`D:\OLLAMA`),新下载模型将存储于此 #### 步骤4:拉取并使用模型 ```bash ollama pull llama3 # 示例:下载llama3模型 ollama run llama3 # 启动模型交互 ``` **存储验证**:观察模型文件是否生成在`OLLAMA_MODELS`指定路径下 #### 常见问题排查 | 问题现象 | 解决方案 | |-------------------------|-----------------------------------| | 模型仍下载到C盘 | 1. 检查`OLLAMA_MODELS`是否设置正确<br>2. 确认已重启系统 | | 安装路径无效 | 检查路径格式(英文冒号、反斜杠)<br>示例错误:`E:/AI/ollama`(错误使用正斜杠) | | 命令行提示"ollama不存在" | 检查环境变量`Path`是否包含安装路径 | #### 进阶操作:Python调用示例 ```python from langchain_community.llms import Ollama llm = Ollama(model="llama3") # 调用本地部署的模型 print(llm("解释量子力学")) ```
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值