云服务器 Flexus X 实例：RAG 开源项目 FastGPT 部署，玩转大模型

本篇文章主要通过 Flexus 云服务器 X 实例 部署 RAG 开源项目 FastGPT，通过 FastGPT 可以使用大模型生成用户需要的内容。 Flexus 云服务器 X 实例具有柔性算力，六倍性能，旗舰体验，覆盖高科技、零售、金融、游戏等行业大多数通用工作负载场景，完全可以支持 FastGPT 的部署、运行和使用，而且，Flexus 云服务器 X 实例 能够提供完备的产品能力，可以基于业务诉求灵活自定义拓扑组网，支持灵活自定义 vCPU 和内存配比，完全基于业务资源诉求选择合适规格，节省资源开销等优势，需要的小伙伴赶紧用起来吧！

一、FastGPT 简介****

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

具有如下特性：

（1）专属 AI 客服：通过导入文档或已有问答对进行训练，让 AI 模型能根据你的文档以交互式对话方式回答问题；

（2）简单易用的可视化界面：FastGPT 采用直观的可视化界面设计，为各种应用场景提供了丰富实用的功能。通过简洁易懂的操作步骤，可以轻松完成 AI 客服的创建和训练流程；

（3）自动数据预处理：提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径，其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割，节省手动训练时间，提升效能；

（4）工作流编排：基于 Flow 模块的工作流编排，可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等；

（5）强大的 API 集成：FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入现有的 GPT 应用，也可以轻松集成到企业微信、公众号、飞书等平台。

二、FastGPT 部署****

2.1 下载启动文件****

首先，创建一个目录方便存储部署的文件，执行如下命令创建目录。

root@flexusx-7305:~# mkdir fastgpt

进入 fastgpt 目录，下载 config.json 文件。

root@flexusx-7305:~# cd fastgpt

root@flexusx-7305:~/fastgpt# curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current   Dload  Upload   Total   Spent    Left  Speed

100  6637  100  6637    0     0  17283      0 --:--:-- --:--:-- --:--:-- 17283

root@flexusx-7305:~#

如上所示，下载成功。config.json 文件是用于配置 FastGPT，包括大模型、向量数据库、重排模型等，config.json 文件部分内容如下所示。

{

"feConfigs": {

"lafEnv": "https://laf.dev" // laf 环境。 https://laf.run （杭州阿里云） ,或者私有化的 laf 环境。如果使用 Laf openapi 功能，需要最新版的 laf 。

},

"systemEnv": {

"vectorMaxProcess": 15,

"qaMaxProcess": 15,

"pgHNSWEfSearch": 100 // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为 100，有 99%+精度。

},

"llmModels": [

{

"model": "gpt-4o-mini", // 模型名(对应 OneAPI 中渠道的模型名)

"name": "gpt-4o-mini", // 模型别名

"avatar": "/imgs/model/openai.svg", // 模型的 logo

"maxContext": 125000, // 最大上下文

"maxResponse": 16000, // 最大回复

"quoteMaxToken": 120000, // 最大引用内容

"maxTemperature": 1.2, // 最大温度

"charsPointsPrice": 0, // n 积分/1k token（商业版）

"censor": false, // 是否开启敏感校验（商业版）

"vision": true, // 是否支持图片输入

"datasetProcess": true, // 是否设置为知识库处理模型（QA），务必保证至少有一个为 true，否则知识库会报错

"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为 true）

"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为 true）

"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为 true）

"usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为 true）

"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有 gpt 支持）

"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为 false，则使用 functionCall，如果仍为 false，则使用提示词模式）

"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型

"customExtractPrompt": "", // 自定义内容提取提示词

"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词

"defaultConfig": {}, // 请求 API 时，挟带一些默认配置（比如 GLM4 的 top_p）

"fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）

},

{

"model": "gpt-4o",

"name": "gpt-4o",

"avatar": "/imgs/model/openai.svg",

"maxContext": 125000,

"maxResponse": 4000,

"quoteMaxToken": 120000,