知识库系统
关注
分享
扫一扫
文章平均质量分 76
fly-iot
没什么大不了，一直写代码。
展开
-
【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功，3类接口xinference都是支持部署的
但是 Dify 运行报错，估计下一个版本就会修复了：但是测试接口，都是支持 stream 的：测试接口"messages": [{"role": "user", "content": "北京景点"}],}'原创 2024-01-30 23:03:00 · 5052 阅读 · 2 评论 -
【大模型研究】（1）：从零开始部署书生·浦语2-20B大模型，使用fastchat和webui部署测试，autodl申请2张显卡，占用显存40G可以运行
总体上效果还不错。速度也挺快的。需要 40G的显存才可以启动成功。而且可以使用webui 启动成功。原创 2024-01-21 22:00:36 · 2077 阅读 · 1 评论 -
【Dify知识库】（11）：Dify0.4.9改造支持MySQL，成功接入 Yi-6B 做对话，本地使用fastchat启动，占8G显存，可以成功配置LLM和 embedding
对 Dify 项目进行升级，同时可以通过配置 【 OpenAI-API-compatible】可以支持聊天模型和 embedding 接口。然后就可以搭建自己的知识库系统了。速度上yi 6b 稍微慢点，但是回答的问题比较详细。原创 2024-01-21 13:17:52 · 4682 阅读 · 0 评论 -
【Dify知识库】（10）：Dify0.4.9改造支持MySQL，成功接入通义千问-7B-Chat-Int4做对话，本地使用fastchat启动，占6G显存，可以成功配置LLM和 embedding
对 Dify 项目进行升级，同时可以通过配置 【 OpenAI-API-compatible】可以支持聊天模型和 embedding 接口。然后就可以搭建自己的知识库系统了。但是发现 7b的模型聊天的时候还是有点小。后续可以研究下14B的大模型。原创 2024-01-20 23:03:30 · 3899 阅读 · 0 评论 -
【Dify知识库】：可能是全网首发！将开源知识库Dify的数据库从Postgresdb切换成MySQL，解决各种兼容的问题，最终可以成功切换，做了很多期视频进行演示，持续研究中
Dify 项目非常不错，代码写的也好，就是数据库是 Postgresdb 的，需要切换成Mysql。不过还好使用的是 sqlAlchomy 切换起来也是非常的方便的。原创 2023-12-30 13:46:29 · 6099 阅读 · 0 评论