- 博客(287)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Ray-深度学习Ray系统大纲
大纲可帮助您深入了解Ray的核心概念、实现原理和应用场景。您可以逐一学习每个主题，并进一步探索Ray的细节和高级功能。在学习过程中，可以查阅Ray的官方文档和相关的学术论文以获取更多详细信息。与其他框架和工具的集成（例如机器学习框架）调度器（Scheduler）的角色和功能。任务（Task）的概念和任务调度。Actor模型和Actor的执行。任务之间的依赖关系和任务调度策略。Actor之间的通信和消息传递。Ray的基本概念和核心组件。Ray的开源社区和贡献机制。任务的状态管理和错误处理。
2023-05-23 11:11:11
442
原创 构建你的第一个MCP服务器：一步步实现简单MCP服务器
本文介绍了如何构建一个基于模型上下文协议（MCP）的文件系统服务器，实现AI与外部数据源的集成。主要内容包括： MCP协议概述：类似HTTP的统一接口，支持通过JSON-RPC 2.0实现AI与外部资源的交互 开发环境配置：Python 3.10+环境搭建，使用uv包管理工具 服务器实现：基于FastMCP框架开发，包含列出目录文件和读取文件内容两个核心功能 运行与测试：通过stdio传输方式启动服务器，并与Claude Desktop等MCP主机集成测试 扩展建议：包括权限控制、日志记录和功能扩展方向 该
2025-07-24 20:46:45
105
原创 Elasticsearch集群中节点的JVM内存使用率过高，GC频繁如何排查原因和处理？
摘要：Elasticsearch集群节点JVM内存使用率过高、GC频繁问题可能由高查询/写入负载、索引设计不合理或GC配置不当导致。可通过检查慢查询日志、分片状态、GC日志和资源使用情况定位原因。解决方案包括优化复杂查询、限制字段缓存、调整写入批量大小、控制分片数量（10-50GB/分片）及优化GC策略。关键操作如使用search_after替代深分页、设置fielddata.cache.size、调整refresh_interval和监控heap_used_percent指标，可有效降低内存压力，提升集群
2025-07-21 07:00:00
348
原创 Elasticsearch集群中节点磁盘空间不足如何处理？
**摘要： Elasticsearch集群节点磁盘空间不足时，会触发水位线机制导致数据无法写入。常见原因包括磁盘使用率过高、索引未及时清理、数据量激增或分片分配不均衡。可通过以下方法处理： 释放空间：删除过期索引，清理临时文件； 临时调整水位线：提高阈值以应急； 扩展节点：添加新数据节点分担负载； 优化分片：重新分配分片或启用自动均衡； 检查ILM策略：确保旧索引按时删除。需结合监控与日志排查具体原因，优先通过清理数据或扩容解决根本问题。
2025-07-20 06:30:00
30
原创 Elasticsearch集群出现查询或写入性能下降、响应时间变长如何排查原因和处理？
Elasticsearch集群性能下降排查指南 当Elasticsearch集群出现查询/写入性能下降时，可按以下步骤排查： 检查节点资源：通过top、iostat监控CPU/内存/磁盘I/O，使用_cat/nodes查看堆内存使用（超过85%可能触发GC）。 索引优化：检查分片数量（单分片建议10-50GB）、ILM策略执行情况，避免复杂映射结构。 负载分析：启用慢查询日志，检查_cat/tasks中的耗时任务，确认是否有高并发写入或复杂聚合查询。 网络与JVM：测试节点间延迟，检查GC日志是否频繁（&g
2025-07-19 07:45:00
23
原创 Elasticsearch集群出现脑裂（Split-Brain）如何排查原因和处理？
本文介绍了Elasticsearch集群脑裂(Split-Brain)问题的排查与处理方法。主要内容包括：1)脑裂定义及常见诱因(网络分区、配置错误、资源不足)；2)排查步骤，如检查网络连通性、验证minimum_master_nodes设置、监控节点资源；3)处理流程，包括暂停写入、确定主子集群、恢复网络连接、合并子集群等关键操作；4)最后强调数据一致性检查的重要性。适用于3节点Elasticsearch集群的脑裂问题定位与恢复。
2025-07-19 05:45:00
161
原创 生产环境中Elasticsearch集群创建索引教程
本教程详细介绍了在生产环境中配置Elasticsearch集群创建索引的完整流程。主要内容包括：准备工作（版本要求、节点配置）、创建索引模板（定义分片副本数和映射）、配置ILM策略（实现热/温/冷数据分层存储和自动删除）、创建初始索引并关联别名、数据读写操作指南，以及监控管理方法。该方案实现了每天自动创建索引（副本数为1）、50GB自动滚动、90天数据分层保留（热7天/温30天/冷90天）等功能，适用于大规模数据管理场景，同时优化了存储和查询性能。
2025-07-18 07:30:00
17
原创 Elasticsearch集群状态为Yellow或Red如何排查和处理？
本文介绍了Elasticsearch集群状态为Yellow或Red时的排查和处理方法。Yellow状态通常由数据节点不足、磁盘空间不足或节点故障导致，可通过增加节点、清理磁盘或调整配置恢复。Red状态表明主分片缺失，需优先恢复故障节点或从快照还原数据。文章提供了详细的curl命令用于诊断和修复，包括检查集群健康状态、分片分配情况和节点状态等关键指标，并给出了手动分配分片、调整水位线等具体操作步骤。对运维人员快速定位和解决Elasticsearch集群问题具有实用参考价值。
2025-07-18 06:45:00
159
原创 Elasticsearch 数据节点故障恢复步骤
在 Elasticsearch 集群中，数据节点（Data Nodes）负责存储和处理数据。当一个数据节点发生故障时，例如断电或硬件损坏，集群会通过分片（shards）和副本（replicas）机制来恢复数据并确保高可用性。以下是恢复数据节点故障的完整步骤。
2025-07-17 09:30:00
35
原创 Elasticsearch集群 主节点故障恢复步骤
Elasticsearch集群主节点故障恢复指南：当3主节点集群中1个主节点故障时，首先检查集群状态确认故障节点。若可恢复则重启节点，否则需替换新节点：安装相同版本Elasticsearch、配置节点角色和证书、加入集群。主节点不存储数据，因此无需数据恢复。关键预防措施包括定期备份、配置监控告警和硬件冗余。通过quorum机制和恢复步骤，可确保集群高可用性。
2025-07-17 07:45:00
147
原创 员工使用大模型时：AI网关敏感信息监测与遮挡（APISIX）
摘要： 本文提出基于Apache APISIX网关的敏感信息监测与遮挡方案，用于保护员工调用大模型时传输的数据隐私。针对JSON、纯文本等混合格式请求，方案结合Lua插件实现：1）通过JSON解析递归处理结构化数据中的敏感字段；2）利用正则表达式匹配非结构化内容中的邮箱、手机号等敏感信息；3）将被识别信息替换为占位符并记录脱敏事件。该方案支持动态配置敏感字段规则，在保证高性能的同时满足合规要求，适用于不固定格式的数据处理场景。（149字）
2025-07-16 11:10:56
55
原创 Elasticsearch 9.x中使用AI进行语义搜索和重排序
摘要： Elasticsearch 9.x 通过集成 AI 技术实现语义搜索和重排序功能。语义搜索利用 NLP 模型（如 BERT）将文本转为向量，通过 knn 查询匹配相似文档；重排序则借助交叉编码器模型优化初始结果排名。用户需配置 dense_vector 字段、部署模型，并通过 API 或 Java SDK（如 knnQuery）调用功能。典型应用包括内容推荐、问答系统及高精度搜索场景。
2025-07-16 10:24:05
63
原创 Elasticsearch 9.x 详细AI使用教程
Elasticsearch 9.x AI 功能教程摘要 Elasticsearch 9.x 增强了 AI 和机器学习功能，主要包含异常检测、数据预测和分类分析能力。本文介绍了核心命令、索引设置和 Java SDK 实现方法： 关键命令： 异常检测：PUT /_ml/anomaly_detectors/<job_id> 可监控数值字段的异常趋势 数据分析：PUT /_ml/data_frame/analytics/<job_id> 支持分类和回归任务 索引设置： 时间序列场景需设置 d
2025-07-16 10:22:56
57
原创 Elasticsearch 9.x 高可用集群部署教程（3 主节点 + 3 数据节点）
本文详细介绍了Elasticsearch 9.x高可用集群的部署方案，采用3主节点+3数据节点的架构设计。主要内容包括：1) 集群架构规划，说明节点角色分配、硬件配置和网络要求；2) 环境准备工作，涵盖Java安装、系统参数优化和hosts配置；3) Elasticsearch安装步骤；4) 集群节点配置细节，分别给出主节点和数据节点的配置文件模板。部署方案注重高可用性设计，如主节点选举机制、数据副本策略和分片优化，并提供了安全功能配置建议。该方案适用于生产环境，确保系统具备容错能力和稳定性能。
2025-07-16 10:04:09
646
原创 Elasticsearch 9.x 中AI功能
摘要： Elasticsearch 9.x通过深度集成AI技术实现全面升级，核心包括：1）基于Lucene 10的智能并行索引与硬件优化，提升40%搜索吞吐；2）新增LLM可观测性模块，监控生成式AI成本、性能与安全；3）支持多模态语义检索，结合semantic_text字段与BBQ量化技术，十亿级向量查询延迟降至60ms；4）开放推理API无缝接入第三方模型；5）ES|QL语言增强AI查询能力；6）AI驱动的安全分析实现自动化威胁检测。该版本成为企业构建智能搜索与安全分析的一体化平台。
2025-07-16 08:00:00
62
原创 Elasticsearch 9.x 搜索执行过程（源码解析）
本文解析了Elasticsearch 9.x的搜索执行过程，通过流程图展示了从客户端请求到结果返回的完整数据流转。主要包含请求接收、搜索类型判断、可选DFS阶段、Query查询执行、结果合并、Fetch文档获取等步骤。协调节点和数据节点协作完成分布式搜索，SearchContext管理整个搜索状态。系统还包含单分片优化、上下文管理等优化机制，确保高效执行查询并合理释放资源。
2025-07-15 20:16:03
79
原创 ElasticSerch 9.x 索引数据流（源码解读）
Elasticsearch索引数据流流程详解：从客户端请求到Lucene写入的完整处理过程。文档首先通过REST API接收，由协调节点路由到主分片，引擎层负责版本控制、序列号生成和索引策略选择。核心操作包括并行写入事务日志和Lucene索引，副本分片同步更新确保数据一致性。系统通过事务日志提供持久性保证，LiveVersionMap支持实时GET功能。索引策略优化了不同场景下的处理方式，如仅追加优化和过期操作处理，确保系统高效稳定运行。
2025-07-15 19:51:02
33
原创 Elasticsearch 9.x 搜索执行流程（源码解读）
Elasticsearch的搜索执行是一个分布式过程，涉及协调节点和数据节点之间的多阶段交互
2025-07-15 14:01:52
395
原创 ElasticSerch 9.x 索引和存储（源码解读）
Elasticsearch节点核心结构包含ClusterService、IndicesService等核心组件和专用线程池。集群协调由Master节点管理ClusterState，并通过ClusterApplierService应用到数据节点。索引分片(IndexShard)包含Engine、Store等核心组件，存储引擎(Engine)提供抽象层，InternalEngine实现读写路径和检查点管理。全文展示了Elasticsearch的分层架构设计，从节点构建到集群协调，再到索引存储的实现细节。
2025-07-15 09:51:46
25
原创 Elasticsearch9.x核心架构概述
Elasticsearch采用分层分布式架构设计，包含网络通信层、服务协调层、索引分片层和存储引擎层。网络层处理HTTP/TCP通信；服务层负责索引管理和集群协调；分片层作为数据存储基本单元，包含Translog和MapperService；存储引擎层基于Lucene实现文档存储检索。文档处理管道将JSON转换为Lucene文档。数据流向清晰，支持高效写入和搜索操作。该架构通过模块化分层实现了高可用、可扩展和高性能，上层服务处理分布式复杂性，底层直接基于Lucene构建。
2025-07-14 14:48:22
179
原创 Elasticsearch 9.x 升级变化
Elasticsearch 9.x重大版本升级带来多项关键变更：新增rank_vectors字段类型（实验性）、ES|QL LOOKUP JOIN（技术预览）和正式发布的semantic_text字段类型。主要破坏性变更包括：聚合、分配、分析等模块的功能调整；核心基础设施如超时响应码变更；TLSv1.1协议移除；以及向量搜索API调整。运行时环境方面，Docker镜像改为UBI minimal基础，JDK升级至Java 24。升级需从8.x版本开始，且存在Windows路径敏感性和AD认证等已知问题。建议生
2025-07-14 14:38:09
124
原创 MCP 协议简介
MCP协议简介及核心组件 MCP（Model Context Protocol）是由Anthropic于2024年11月推出的开放标准协议，旨在简化AI模型与外部数据源、工具的集成。该协议包含四个核心组件： MCP Host：使用AI的主要应用程序（如IDE或聊天机器人），负责发起数据请求。 MCP Client：处理Host与Server间的通信，确保标准化交互。 MCP Server：提供对特定数据源或工具（如数据库、API）的访问。 MCP Registry：服务发现组件，帮助Host查找可用Serv
2025-07-11 10:01:21
48
原创 企业中使用 MCP Server 实现业务打通
通过使用 MCP Server，企业可以实现业务流程的自动化和智能化。MCP 协议通过标准化上下文管理、客户端-服务器架构、工具与资源的集成、动态上下文优化以及安全可扩展性，为 LLM 与外部系统的交互提供了高效、灵活的解决方案。企业可以根据自身的业务需求，封装多个工具并利用 MCP Server 进行业务打通，提升整体运营效率和智能化水平。
2025-06-10 20:57:58
340
原创 企业中如何使用大模型中的 Function Call 实现业务打通
Function Call 允许大语言模型与外部系统或API交互，动态调用预定义的函数完成特定任务。这种机制将大模型的自然语言理解能力与企业的内部系统或业务逻辑结合，实现自动化流程处理。
2025-06-10 20:45:39
65
原创 大模型中Function Call的定义与核心功能
Function Call 是一种机制，允许大语言模型在生成文本时调用外部工具或 API，以执行超出其原生能力的任务。通过这种方式，模型可以整合实时数据、动态计算或特定领域的专业功能，从而增强输出的准确性和实用性。
2025-06-10 20:39:45
94
原创 本地部署多智能体Manus
Manus作为通用型AI Agent备受关注，现已支持本地部署多智能体协作平台，提供更高自主性和安全性。部署优势包括：保障数据隐私、灵活定制业务场景、降低长期成本及提升本地响应速度。提供三种部署方式：1)传统conda环境部署；2)uv方案快速安装；3)Docker容器化部署。其中docker-compose方案整合前端、后端、沙箱及数据库服务，通过环境变量配置API密钥等参数，实现一站式AI协作平台搭建。部署过程包含环境准备、依赖安装、配置文件设置等标准化步骤，满足不同技术栈需求。
2025-06-10 11:29:43
156
原创 第23章：多智能体系统（MAS）的部署、监控与运维
本章将深入讲解多智能体系统（MAS）在企业级生产环境中的部署、监控与运维。内容涵盖分布式部署策略、可观测性设计、分布式调试、性能优化、容错与高可用、以及安全保障等关键环节。通过实际项目案例和代码示例，帮助你掌握 MAS 在生产环境中的落地方法。
2025-04-28 08:46:06
450
原创 第22章：主流多智能体 (MAS)开发框架与工具
Java最著名和广泛使用的传统 MAS 框架之一。严格遵循 FIPA 标准（ACL、交互协议、Agent 管理服务 AMS、目录服务 DF）。提供图形化工具用于调试和管理。历史悠久，社区庞大，但相对较重。需要严格 FIPA 合规性、基于 Java 的大型、分布式 Agent 系统。Python基于 XMPP (Jabber) 协议进行通信，利用了 XMPP 的路由、在线状态、安全等特性。也支持 FIPA ACL。相对 JADE 更轻量级，利用 Python 的优势。
2025-04-28 08:45:25
154
原创 第21章：多智能体系统 (MAS)中的协调与协作机制
协调与协作是发挥 MAS 潜力的关键。任务分配策略（市场、集中、分布式）决定了如何将工作分配给 Agent。资源共享与冲突解决机制（锁、优先级、协商等）管理对有限资源的访问。团队形成与动态重组使得 Agent 能够根据任务需求灵活地组合与调整。组织结构设计与角色动态分配提供了 Agent 间交互的框架，并允许根据情况调整职责。涌现行为是 MAS 的一个重要特性，理解和管理它对于确保系统按预期运行至关重要。掌握这些机制的设计和应用，是构建能够应对复杂、动态环境的智能、自适应多智能体系统的基础。
2025-04-28 08:43:53
147
原创 第20章：Agent间通信与交互协议
有效的通信是多智能体系统协同工作的基石。通信语言 (ACL)定义消息意图，内容语言和本体论定义消息内容的语法和语义，确保互操作性。消息传递机制（点对点、广播、订阅/发布）决定消息如何分发，企业级系统常依赖消息中间件。交互协议（如合同网、拍卖、协商）为实现特定目标（任务分配、资源分配、达成共识）提供了结构化的对话流程。间接交互通过共享知识库或环境进行，是直接通信的重要补充。理解并恰当设计这些通信机制和协议，对于构建健壮、高效、可扩展的多智能体系统至关重要。
2025-04-28 08:42:42
87
原创 第19章：Multi-Agent多智能体系统介绍
多智能体系统 (MAS) 是由多个自主的、交互的智能体组成的计算系统。这些智能体在一个共享的环境中运作，它们拥有各自的目标、知识和能力，并通过相互通信与协作（或竞争）来解决单个智能体难以或无法完成的复杂问题。特性单 Agent 系统多智能体系统 (MAS)组成通常只有一个核心智能体包含两个或多个交互的智能体交互主要与环境或其他非智能体实体交互智能体之间存在复杂的交互（通信、协调）目标追求自身目标可能有共享的全局目标，也可能有冲突的个体目标知识拥有自身的知识库。
2025-04-25 17:18:46
166
原创 第18章：MCP在创作领域中的应用
MCP 框架为 AI Agent 深入参与创意领域提供了强大的支撑。通过整合记忆管理、上下文理解和规划能力，AI Agent 可以超越简单的内容生成，成为创作者在灵感激发、素材管理、内容创作、流程规划等方面的得力助手。这种人机协作的模式有望极大地提升创意工作的效率和质量，并可能催生出全新的创意形式。未来的挑战在于如何更好地理解和模拟创意过程中的直觉、情感和审美判断，以及如何设计更自然、更富有启发性的人机交互方式。
2025-04-25 17:17:33
133
原创 第17章：MCP框架构建知识工作助手
MCP 框架为构建强大的知识工作助手提供了坚实的基础。通过整合记忆、上下文理解和规划能力，AI Agent 不再仅仅是信息的搬运工，更能成为知识工作者在信息获取、组织、分析、创造过程中的智能伙伴。实现这些高级功能需要克服数据获取、知识表示、LLM 能力整合等多方面的挑战，但其带来的效率提升和洞察发现潜力巨大，是 AI Agent 未来发展的重要方向。
2025-04-24 19:42:48
185
原创 第16章：MCP服务端项目开发实战：对话系统
将 MCP 框架应用于对话系统，可以显著提升其智能水平和用户体验。通过有效的记忆管理，Agent 能够维持长对话的连贯性；通过利用用户记忆，可以实现个性化的交互；通过对话驱动的知识追踪与学习，Agent 能够不断进化。规划能力则使得 Agent 能够更结构化地处理复杂的用户请求。虽然实现一个完整的 MCP 对话系统涉及诸多挑战，但其带来的价值使得它成为未来智能对话交互的重要发展方向。
2025-04-24 19:41:06
123
原创 第15章：MCP服务端项目开发实战：性能优化
性能优化和扩展是构建生产级 MCP 系统的关键环节。通过识别系统瓶颈，应用缓存策略、优化并发处理、采用分布式架构和水平扩展方案，可以显著提升 MCP Agent 的响应速度、吞吐量和可用性。在实践中，需要根据具体的应用场景、负载情况和成本预算，选择合适的优化技术和架构方案，并持续进行性能监控和调优。
2025-04-24 19:40:24
298
原创 第14章：MCP服务端项目开发实战：多模态信息处理
多模态信息处理是 AI Agent 向更高级智能迈进的关键一步。通过引入多模态嵌入技术，MCP 框架可以在 Context、Memory 和 Planning 各个层面进行扩展，以实现对文本、图像、音频等多种信息的统一理解、融合、存储、检索和规划。利用强大的预训练多模态模型（如 CLIP, GPT-4V 等）是实现这些能力的核心。设计能够处理多模态数据流、调用多模态工具并与 MLLM 有效协作的 Context 和 Planning 组件，将是未来构建高级 AI Agent 的重要方向。
2025-04-24 19:39:10
115
原创 第13章：MCP服务端项目开发实战：向量检索
Faiss (Facebook AI Similarity Search) 是一个非常流行的高效向量检索库，提供了多种 ANN 算法的实现。核心概念Index对象代表一个索引。常用索引类型: 精确搜索（暴力计算），用于基准测试或小数据集。L2 是欧氏距离，IP 是内积。: 基于倒排文件的精确搜索（先聚类缩小范围）。IndexLSH: 基于 LSH。: 基于 HNSW。IndexIVFPQ: 基于倒排文件 + 乘积量化。: 标量量化。基本流程创建索引，指定维度和算法参数。训练索引 (可选)
2025-04-24 19:38:12
114
原创 第12章：MCP服务端项目开发实战：数据持久化
数据持久化与管理是 MCP 服务端不可或缺的一部分。选择合适的存储方案（向量库、SQL/NoSQL、缓存、对象存储）来满足不同数据的需求（性能、结构、查询方式）是基础。同时，高效管理用户画像和会使系统能够提供个性化和连续性的服务。最为重要的是，必须将数据安全和隐私保护贯穿于设计的始终，采取强有力的技术和管理措施，遵守法规要求，赢得用户的信任。下一章，我们将探讨向量检索和相似度计算的更高级主题。
2025-04-23 14:10:41
262
原创 第11章：MCP服务端项目开发实战：核心服务实现
添加记忆项。: 搜索相关记忆。: 获取特定记忆。: 删除记忆。(可能): 获取指定会话的工作记忆。(可能): 添加到指定会话的工作记忆。: 构建上下文 Prompt。: 分解任务。: 执行计划（或下一步）。(可能): 获取计划状态。
2025-04-23 14:09:49
108
Openvoice安装依赖，checkpoints-1226，frpc-linux-amd64，snakers4-silero
2024-01-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人