1. 介绍
1.1 ollama
Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 docker 产品(支持 list,pull,push,run 等命令),ollama将类似于镜像的大模型从中央仓库拉取到本地,可以把ollama看作docker容器,把ai大模型看作是镜像。
如果想使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B,可以看这篇文章:使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B-CSDN博客
1.2 deepseek
DeepSeek,全称杭州深度求索人工智能基础技术研究有限公司。推出国产大模型DeepSeek-V3和DeepSeek-R1。总参数量为671B,激活37B。
优势:
(1):开发费用超级低,训练成本约为558万美元,是美国最好的模型openAI o1开发费用的3%;
(2):与openAI o1水平相当,数学、编程和推理任务上,甚至偶尔超过了o1;
也正是因为如此,DeepSeek R1价格非常便宜,每100万个输出tokens 2.19美元,而 OpenAI o1 则需要60美元,DeepSeek R1便宜 96.4%,性能却不相上下,完全就是逆风翻盘。
DeepSeek