首页DeepSeek-R1-Distill-Qwen-1.5B本地部署教程

DeepSeek-R1-Distill-Qwen-1.5B本地部署教程

时间: 2025-03-01 17:02:38 浏览: 84

### DeepSeek-R1-Distill-Qwen-1.5B 模型本地部署教程 #### 准备工作为了成功部署 DeepSeek-R1-Distill-Qwen-1.5B 模型，环境配置至关重要。确保安装 Python 3.x 版本以及必要的依赖库[^1]。 #### 安装依赖项通过 pip 工具来安装所需的软件包： ```bash pip install torch transformers accelerate ``` 这些工具提供了运行深度学习模型所需的核心功能和支持加速计算的能力。 #### 下载预训练模型利用 Hugging Face 的 `transformers` 库可以方便地获取预训练好的 Qwen 模型权重文件: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "DeepSeek-R1-Distill-Qwen-1.5B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) ``` 这段代码会自动下载并缓存指定名称下的模型及其配套词表。 #### 加载与推理设置完成上述准备工作之后，就可以加载已经保存下来的模型实例来进行预测操作了。下面是一个简单的例子展示如何使用该模型生成文本回复: ```python import torch def generate_response(prompt_text): inputs = tokenizer(prompt_text, return_tensors="pt").input_ids.to('cuda' if torch.cuda.is_available() else 'cpu') outputs = model.generate(inputs, max_length=50, num_return_sequences=1) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response ``` 此函数接收一段提示作为输入参数，并返回由模型产生的相应输出字符串。

阅读全文