企业必备:搭建大模型应用平台实操教程

最近AI智能体很火,AI智能体平台化产品肯定属于大公司的。但在一些场景下,尤其是对业务数据要求很高的公司,那就只能用私有大模型。不一定完全是为了对外提供服务,对内改造工作流也是需要的。所以

  1. 我感觉未来大部分企业都会搞一个自己的大模型。大模型 + RAG的方案会非常成熟。
  2. 很多企业都会通过AI agent的智能体来改造工作流,很多工作的效率会因此而大大提效。

这类开源的大模型应用平台有很多,例如dify,fastgpt,langchain等。这里我以dify为例。

一、下载开源模型管理应用:ollama

地址:https://ollama.com/ 这是一个专门管理开源大模型的工具,通过这个工具我们可以安装到市面上大多数开源大模型。同时,它还对大模型做了精简,让我们在使用时,对本地电脑的显存要求更小。

直接点击Download下载。下载后运行应用,直接下一步安装即可。备注:该工具默认安装在C盘,所以模型文件默认也是安装在C盘。

如果你是windows系统,想把模型文件放到其他盘,需要在环境变量里创建一个OLLAMA_MODELS,它的值就是填你想存放模型的路径。例如 D://ollama

下载完毕后,在终端:执行oll

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石云升

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值