实战LLM应用（1）：选工具_llm如何选择工具-CSDN博客

本文链接：https://blog.csdn.net/weixin_60746677/article/details/146345102

工欲善其事必先利其器。

因为前期与来自不同行业客户探讨LLM应用方向时，排在较前面的诉求、或者说相对更吸引客户的应用方向，基本来自RAG，所以一方面站在项目角度，我们希望用最快的速度搭建出可以给客户“体验”的RAG演示系统，于是团队小伙伴选择了AnythingLLM，在短时间内部署好了一套系统让客户实操；另一方面站在技术角度，我们需要考虑对后续开发可扩展性支持更友好的工具去做长期准备，目前主流的LLM应用开发框架和工具说多不多，说少也不少，选择障碍之下当然要去问LLM了，归纳一下几圈不同LLM问下来的结果，框架上来说，主流无外乎LangChain和LlamaIndex，这两者其实还是有比较鲜明的不同设计理念与定位的。

LangChain 定位通用型LLM开发框架，强调模块化和灵活性，可高度定制、支持多种数据源、模型和工具的无缝集成，适用于多任务集成，但是它的学习曲线相对陡峭，对于使用者的初期要求不低。

LlamaIndex 则是更专注于RAG的框架，代码简洁、开箱即用，更适合快速搭建文档问答系统，不足之处嘛也显而易见，就是定制性较弱，对复杂交互支持有限。

以下是LLM给出的一个对比表格，一目了然。

功能	LangChain	LlamaIndex
文档加载	支持多种格式（PDF、网页、API等）	专注本地文件与结构化数据
索引与检索	需手动选择向量数据库（如FAISS、Chroma）	内置索引（如VectorStoreIndex、GPTTreeIndex）
对话管理	支持复杂上下文保留与记忆模块	基础对话引擎（需结合外部工具扩展）
工具调用	支持多工具链式调用（如搜索、API）	需依赖LangChain或其他框架扩展

这两大框架之外，其它一些类似的工具还包括：Dify, FastGPT, RagFlow等，各自也都有自身的定位与特点：（以下内容来自LLM）

Dify

定位：低代码LLM应用开发平台，内置RAG引擎和Agent框架。
特点：
- 可视化编排AI工作流，支持复杂业务逻辑（如客户服务、数据分析）。
- 兼容数百种模型（OpenAI、Llama3、通义千问等），适合非技术用户快速部署。

FastGPT

定位：知识库训练与自动化流程平台，专注企业级RAG。
特点：
- 自动数据预处理（PDF/Word解析）和混合检索策略，支持API无缝对接企业系统。
- 提供可视化界面，适合需要私有化部署的企业。

RagFlow

定位：深度文档理解的RAG引擎，支持复杂格式数据（表格、图片、音频）。
特点：
- 基于模板的文本切片和可视化调整，降低幻觉风险。
- 多路召回与重排序优化，适合高精度问答场景。

对于每一种工具，想要了解更多细节都可以尽管问LLM（现在真的是一个好时代，只要有求知欲，途径很多很多），不同项目组成员可以根据项目本身特性以及团队整体技术能力选择相对合适的项目工具（可能是一个或多个），我自己本身选择了LangChain来作为切入点，一方面，看中它的通用性，另一方面，希望可以通过更多亲力亲为的配置去更好的了解内部逻辑；开盒即用的黑盒固然方便高效，但很多时候，两眼一抹黑长远来说多少有点底气不足，所以，推自己一把，选择一个前期学习曲线陡一些的工具，毕竟，现在论学习，不是太大的难事，有太多途径了。