使用代码部署DeepSeek-R1开源模型

DeepSeek-R1-Distill-Qwen 是 DeepSeek 团队基于 DeepSeek-R1 模型通过蒸馏技术生成的一系列轻量化模型。这些模型在保持高性能推理能力的同时，显著降低了计算资源和内存需求，适合在资源受限的环境中部署。DeepSeek-R1-Distill-Qwen 系列模型是通过从 DeepSeek-R1 模型中提取推理模式并迁移到更小的模型架构中生成的。这些模型基于 Qwen 系列架构，包括 1.5B、7B、14B 和 32B 等不同参数规模的版本，适用于多种任务场景，如数学推理、代码生成和逻辑推理等。为了方便嵌入自己的项目，这里演示如何基于python部署DeepSeek-R1模型，当前开发环境Win11,IDE是PyCharm，GPU是RTX 4080 8G，CUDA 是11.8。这里默认已安装好GPU驱动与CUDA与CUDNN环境。