Windows使用vllm本地部署deepseek
时间: 2025-03-06 20:35:14 浏览: 376
### Windows 上使用 VLLM 进行 DeepSeek 的本地部署
#### 准备工作
为了在 Windows 环境下成功部署 DeepSeek 使用 VLLM,需先确认系统配置满足最低需求并完成必要的软件安装。
- **操作系统**: Windows 10/11 推荐版本。
- **硬件支持**: 建议配备 NVIDIA GPU 及相应驱动程序以加速模型推理过程[^2]。
#### 安装 Docker Desktop
由于 VLLM 和 DeepSeek 主要依赖于容器化技术来简化环境搭建流程,在 Windows 平台上推荐通过 Docker Desktop 来运行官方提供的预构建镜像文件。具体操作如下:
1. 访问[Docker官方网站](https://www.docker.com/products/docker-desktop),下载适用于 Windows 版本的 Docker Desktop;
2. 按照提示完成安装向导中的各项设置,确保启用了 WSL 2 后端支持功能以便更好地兼容 Linux 应用;
3. 打开 PowerShell 或命令提示符窗口,输入 `docker --version` 测试是否正确安装了 Docker CLI 工具;
#### 获取并启动 DeepSeek-VLLM 镜像
接下来按照以下步骤获取由社区维护者发布的专门针对 DeepSeek R1 而优化过的 VLLM 镜像资源:
```bash
# 更新Docker Hub上的最新镜像列表
docker pull hub.oepkgs.net/neocopilot/deepseek_vllm:cann.8.0.rc3.beta1-910b-openeuler22.03-py3.10
```
创建一个新的容器实例用于后续交互式会话或 API 请求处理:
```bash
# 创建名为deepseek-vllm的新容器,并映射主机端口至内部服务监听地址
docker run -d --name=deepseek-vllm \
-p 8000:8000 \
hub.oepkgs.net/neocopilot/deepseek_vllm:cann.8.0.rc3.beta1-910b-openeuler22.03-py3.10
```
此时应该可以通过浏览器访问 http://localhost:8000 来验证 Web UI 是否正常加载显示[^3]。
#### Python 开发环境配置 (可选)
如果计划进一步开发基于 DeepSeek 的应用程序,则可能还需要额外准备一个适合编写代码的工作区。这里建议利用 Anaconda 发行版快速建立隔离化的虚拟环境:
```shell
# 新建Python 3.x系列解释器及其配套库集合
conda create -n deepseek_env python=3.10
conda activate deepseek_env
pip install requests uvicorn fastapi
```
以上指令将帮助用户建立起一套完整的开发工具链,方便日后调用 RESTful APIs 实现更多定制化功能扩展。
阅读全文
相关推荐


















