使用ollama部署DeepSeek-R1-Distill-Qwen-1.5B

1. 介绍

1.1 ollama

Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 docker 产品(支持 list,pull,push,run 等命令),ollama将类似于镜像的大模型从中央仓库拉取到本地,可以把ollama看作docker容器,把ai大模型看作是镜像。

如果想使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B,可以看这篇文章使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B-CSDN博客

1.2 deepseek

DeepSeek,全称杭州深度求索人工智能基础技术研究有限公司。推出国产大模型DeepSeek-V3和DeepSeek-R1。总参数量为671B,激活37B。

优势:

(1):开发费用超级低,训练成本约为558万美元,是美国最好的模型openAI o1开发费用的3%;

(2):与openAI o1水平相当,数学、编程和推理任务上,甚至偶尔超过了o1;

也正是因为如此,DeepSeek R1价格非常便宜,每100万个输出tokens 2.19美元,而 OpenAI o1 则需要60美元,DeepSeek R1便宜 96.4%,性能却不相上下,完全就是逆风翻盘。

DeepSeek

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值