大数据与AI实验室-CSDN博客

原创【云计算】云主机的亲和性策略（四）：云主机组

本文详细探讨了云主机组在实现亲和性与反亲和性策略中的应用。云主机组作为策略载体，通过显式声明组策略类型来约束虚拟机调度。文章分析了调度器的工作流程，包括策略存储、宿主机筛选和最优选择等关键步骤，并比较了 AWS、Azure 等主流云平台的实现差异。此外，还介绍了标签选择器等其他实现方法，特别是 Kubernetes 中的节点亲和性和 Pod反亲和性配置。这些技术可确保关键业务分散部署，避免单点故障，提升系统可用性。

2025-08-02 10:54:18 283

原创【云计算】云主机的亲和性策略（三）：云主机 & 宿主机

本文阐述了云主机与宿主机的核心关系及技术原理。云主机通过虚拟化技术在宿主机上创建，共享底层硬件资源但相互隔离，类似公寓与大楼的关系。关键点包括：虚拟化层实现资源隔离与调度；资源超卖、快速弹性和故障隔离是主要优势；但存在“吵闹邻居”、性能损耗等风险。公有云中用户无需感知宿主机，由云平台统一调度。文章还对比了容器与裸金属服务器的差异，强调理解这一关系对云架构设计的重要性。

2025-08-02 09:38:38 386

原创【云计算】云主机的亲和性策略（二）：集群节点组

本文通过云计算场景中的集群节点组（Master/Core/Task）和宿主机调度，解释了反亲和性策略的实现过程。通过创建不同严格程度的反亲和性组，确保关键节点（Master/Core）分散部署以提升高可用性，同时允许弹性计算节点（Task）适度集中以优化资源利用率。文章还模拟了宿主机故障场景，验证了分层反亲和策略的有效性，并分析了不同节点组采用差异化策略的设计考量。

2025-08-01 10:15:00 644

原创【云计算】云主机的亲和性策略（一）：快乐旅行团

本文通过旅行团分车的生动比喻，解释了云主机组的反亲和性策略原理。文章将 30 名员工类比为 30 台云主机，大巴车对应宿主机，安全分散组对应反亲和性云主机组。调度员（云平台调度器）根据 "同一部门员工必须分散在不同车辆" 的规则进行分配，确保单点故障时影响最小化。相比自由选座、标签分组或指定车队等方法，云主机组策略具有用户省心、调度高效和故障隔离三大优势。文章还补充了 "车辆不足" 等现实场景的技术对应，最终强调这种智能分散策略能有效保障业务连续性。

2025-08-01 10:00:00 1155

原创【ELasticsearch】集群故障模拟方案（二）：磁盘空间满、重选主节点

本文介绍了 Elasticsearch 集群故障模拟的两种场景：磁盘空间满和主节点选举问题。针对磁盘空间满模拟，详细说明了通过 dd 和 fallocate 命令快速填充磁盘的方法，对比了两种命令的差异及适用场景，同时提供了集群状态监控和清理方案。对于主节点选举问题，给出了识别主节点、停止主节点服务并观察选举过程的步骤。最后强调了安全注意事项和关键监控指标，为测试集群容错能力提供指导。全文包含具体命令示例和参数说明，适合运维人员参考实施。

2025-07-31 10:15:00 1040

原创【ELasticsearch】集群故障模拟方案（一）：节点宕机、节点离线

本文介绍了两种 Elasticsearch 集群故障模拟方案。节点宕机模拟：通过 kill 进程或停止服务强制终止节点，观察集群响应和恢复情况；节点网络隔离模拟：使用 iptables 阻断节点间的 9300 端口通信，测试集群容错机制。两种方案均包含详细的操作步骤、命令解释和恢复方法，特别说明了 iptables 规则的作用原理及注意事项。该方案可用于验证 Elasticsearch 集群的容错能力和故障恢复机制。

2025-07-31 10:00:00 1522

原创【ELasticsearch】案例：AWS 上 Elasticsearch 对接 NLB / ALB

本文详细介绍了在 AWS 上通过 NLB/ALB 对接 Elasticsearch 集群的方案。重点说明如何配置专用协调节点作为请求入口，并创建 NLB 或 ALB 进行负载均衡。关键配置包括节点角色设置、安全组规则、健康检查策略，以及客户端访问方式。架构实现了流量入口与数据处理的分离，协调节点处理请求聚合，数据节点专注分片操作，主节点负责集群管理。对比显示 NLB 更适合 ES场景，因其高性能、低延迟和源 IP 保留特性。该方案显著提升了 Elasticsearch 在云环境下的可用性和扩展性。

2025-07-28 15:00:00 1164

原创【ELasticsearch】搭建有负载均衡 ELB 的 ES 集群

本文探讨了在公有云上为 Elasticsearch 集群封装 ELB 负载均衡器的设计优势。ELB 提供单一入口点，简化客户端配置，实现高可用性、负载均衡和集群可扩展性，同时增强安全性。相比直接连接 ES 节点，ELB 方案降低了客户端复杂度，避免了单点故障风险，并优化了流量分发。文中指出，ELB 应仅对接专用协调节点而非所有节点，以提升性能并确保集群稳定性。这是生产环境中 ES 集群部署的最佳实践，特别适用于中大规模集群场景。

2025-07-28 14:00:00 587

原创【ELasticsearch】温、冷数据节点能是同一个节点吗

在 Elasticsearch 中，虽然技术上可以让一个节点同时承担“温”和“冷”数据层的角色，但这通常不是最佳实践。温层节点需要较好的 CPU、内存和高速磁盘以支持查询，而冷层节点侧重低成本、高密度存储。混合部署会导致硬件需求冲突、资源干扰风险，增加管理复杂度，并削弱分层存储的优化效果。建议在生产环境中使用独立的物理节点分别作为温节点和冷节点，以实现性能隔离和成本效益。仅在小规模测试或开发环境中可考虑临时混合配置。

2025-07-27 13:48:31 1406

原创【ELasticsearch】节点角色分离最佳实践

本文介绍了一个分层 Elasticsearch 生产集群设计方案，包含热、温、冷、冷冻四层存储架构。热层采用高性能 NVMe SSD 处理实时写入和高频查询；温层使用 SAS SSD 存储近期访问数据；冷层配置大容量 HDD 存储历史数据；冷冻层则结合对象存储实现长期归档。文章详细说明了各层的硬件配置、节点角色设置和分片策略，并提供了数据流动逻辑示意图和 ILM 策略示例。该架构通过严格分层实现了性能隔离和成本优化，SSD 使用量减少 70% 以上，存储成本可降低 5 倍，同时保持灵活的扩展性和合规性。

2025-07-27 11:18:02 1077

原创【ELasticsearch】节点角色分类与作用解析

ELasticsearch 集群通过角色隔离实现性能与稳定性的平衡 —— 热层追求速度，协调层消化流量，主节点专注决策，温冷层优化成本。各角色各司其职，构建高可用分布式系统。

2025-07-26 18:40:16 1628 1

原创【Elasticsearch】跨集群检索（Cross-Cluster Search）

跨集群检索（CCS）是 Elasticsearch 应对分布式数据挑战的利器，完美实现了 “数据物理分散，逻辑集中查询”。它解决了数据驻留、扩展性、简化应用访问等核心问题。然而，其性能高度依赖网络，且在生产中需谨慎处理版本兼容性、安全配置、网络优化、监控运维以及理解其功能限制（如不支持事务）。合理规划和配置 CCS，能极大地提升大规模、分布式 Elasticsearch 部署的灵活性和价值。

2025-07-23 22:38:56 841 1

原创【Elasticsearch】快照生命周期管理 SLM（实战篇）

本文详细介绍了 Elasticsearch 快照生命周期管理 SLM 的实战应用，以电商平台日志集群为例，展示如何实现自动化备份与保留策略。

2025-07-23 10:15:00 1526

原创【Elasticsearch】快照生命周期管理 SLM（理论篇）

Elasticsearch 的快照生命周期管理（SLM）和索引生命周期管理（ILM）是两大核心数据治理工具。SLM 专注于自动化备份与恢复，通过定时创建/删除快照（如每日备份至 S3）确保灾备能力；ILM 则优化在线数据存储，将索引按热、温、冷阶段分层迁移，最终自动删除过期数据。两者核心区别在于：SLM 操作快照副本（外部仓库），由时间触发；ILM 管理原始索引（集群内部），基于年龄/大小等条件。典型协作场景中，ILM 处理数据的"生老病死"，SLM 负责"拍遗照"留存，共同实现存储成本优化与数据可恢复性。

2025-07-22 10:30:00 784

原创【Elasticsearch】安全地删除快照仓库、快照

本文详细解析了 Elasticsearch 中删除快照仓库和快照的安全机制。删除仓库操作仅移除集群内的注册信息，不会删除底层存储中的实际快照数据。要彻底清理物理数据，需在删除仓库前通过 API 删除快照，或直接操作存储系统。删除单个快照时，系统会智能清理仅被该快照引用的段文件，保留被其他快照共享的数据。这种基于引用计数的增量快照机制确保了删除操作的安全性，不会影响其他快照的完整性。文章通过乐高积木的比喻形象说明了快照间的数据共享关系。

2025-07-22 10:15:00 705

原创【Elasticsearch】快照与恢复功能详解

Elasticsearch 的快照与恢复是一个强大、灵活且高效的机制，是任何严肃的生产部署不可或缺的一部分。通过理解其增量备份原理、仓库管理、SLM 自动化以及细致的恢复策略（特别是 include_global_state 的处理），Elasticsearch 工程师能够构建可靠的数据保护、迁移和灾难恢复方案。切记：备份的价值只有在成功恢复时才能体现，因此定期的恢复演练至关重要。

2025-07-21 10:30:00 696

原创【Elasticsearch】Elasticsearch 跨机房部署

Elasticsearch 跨机房部署需综合考虑网络延迟、带宽和稳定性，通过分片分配感知、副本策略和主节点分布确保高可用。配置应包含机架/机房标记、GC 调优和跨机房专线，并实施快照策略和故障转移测试。某跨境电商案例采用三地部署，通过 CCR 实现数据同步，故障时 28 秒内完成切换，支持日均 5 亿次搜索，延迟控制在 150ms 内，达到 99.99% 可用性。关键经验包括奇数主节点分布、动态副本调整和实时监控网络指标与分片状态。

2025-07-21 10:15:00 476

原创【Elasticsearch】合适的锅炒合适的菜：性能与成本平衡原理公式解析

让最新鲜的食材用最快的灶台，老火靓汤用柴慢慢煨，既保住招牌菜口碑，又省下真金白银。

2025-07-20 09:47:39 1309

原创【Elasticsearch】冷热集群架构

冷热集群架构（Hot-Warm Architecture）是一种将 Elasticsearch 集群节点按数据访问频率划分为热、温、冷三层的部署模式。热层处理最新写入数据，温层存储常查询数据，冷层归档极少访问数据。该架构具有显著的成本效益、性能优化和自动化数据生命周期管理等优势。典型应用场景包括电商订单系统和物联网监控系统。搭建时需合理规划硬件配置，通过节点角色标记和 ILM 策略实现数据自动迁移，并监控数据分布情况。

2025-07-20 09:45:48 1262

原创【人工智能】AI Agent 实战：使用 Dify 搭建个人在线旅游助手

本文介绍了使用 Dify 平台搭建个人在线旅游助手 AI Agent 的实战教程。文章分为准备工具、构建 Agent 和优化输入三个部分：首先需要配置 Google 搜索、webscraper 爬虫和 Wikipedia 工具；然后通过创建空白 Agent 应用并添加这些工具；最后通过设置变量（目的地、旅行天数、预算）来规范化用户输入。教程包含详细操作步骤和示例输出，展示了如何打造一个能提供酒店推荐、行程规划等服务的 AI 旅游助手，帮助用户掌握 Agent 构建、提示词撰写和变量使用等核心技能。

2025-07-19 09:54:11 1162

原创【人工智能】使用 Dify 搭建 AI 图片生成应用

本文介绍了使用 Dify 平台快速搭建 AI 图片生成应用的方法。主要内容包括：1）获取并配置 Stability API 密钥；2）设置模型供应商（如 OpenAI 或 Groq 平台）；3）通过 Dify 构建 Agent 智能体，配置 LLM 模型和绘画工具；4）提示词工程基础，包括系统提示词撰写和约束设置；5）应用发布与分享。文章还探讨了画风指定、请求拒绝等实用技巧，并解释了模型幻觉的概念。该教程为开发者提供了完整的 AI 绘图应用构建方案，适合快速入门图像生成技术。

2025-07-18 23:56:57 1116

原创【Elasticsearch】Elasticsearch 快照恢复 API 参数详解

本文详细解析了 Elasticsearch 快照恢复 API 的三个核心参数：indices（指定恢复的索引）、rename_pattern（定义重命名匹配模式）和rename_replacement（定义重命名规则）。通过多个实际案例展示了参数组合使用效果，包括恢复特定索引、通配符匹配、排除索引以及复杂重命名等场景。文章特别强调了索引命名的规范要求，解释了 Elasticsearch 对字符长度和类型的限制原因，包括安全性、性能、兼容性等方面的技术考量。

2025-07-17 23:57:45 1890 1

原创【人工智能】通过 Dify 构建智能助手

本文介绍了如何利用 Dify 平台快速创建具备自主任务处理能力的 AI 助手。文章从定义智能助手的核心能力（目标规划、任务拆解等）入手，详细说明了操作流程：选择模板或自定义创建，配置推理模型，编写任务指令，添加知识库和工具，设置 Function calling 或 ReAct 推理模式，并配置对话开场白和文件上传功能。最后强调调试预览后即可发布为 Web 应用，适用于财务报表分析、Logo 设计等多样化场景。

2025-07-14 23:06:52 1225

原创【人工智能】通过 Dify 构建聊天助手

本文介绍了如何使用 Dify 平台构建对话型聊天助手应用。文章首先说明了对话型应用的适用场景，包括客户服务、在线教育、医疗保健和金融服务等领域。然后详细讲解了应用编排步骤：从创建应用、编写提示词、添加上下文和文件上传功能，到调试和最终发布。特别展示了如何创建面试官应用的示例，包括设置对话开场白和问题建议。

2025-07-14 22:27:33 1070

原创【人工智能】Dify 中的 5 种应用类型

Dify 提供了 5 种基于大语言模型的应用类型：聊天助手（多轮对话）、文本生成应用（单次任务）、Agent（智能推理）、对话流（复杂流程）和工作流（批处理任务）。用户可通过三种方式创建应用：基于模板（新手友好）、空白创建（自定义开发）或导入 DSL 工程文件（快速部署）。不同应用类型在交互方式、API 接口和上下文管理上存在差异，开发者可根据需求选择适合的构建方式。Dify 同时提供 API 封装、WebApp 托管和开发工具界面，支持各类 AI 应用的快速实现与部署。

2025-07-13 15:28:06 718

原创【人工智能】Dify 接入大模型简介

Dify 是一款基于大语言模型的 AI 应用开发平台，支持接入多种主流模型供应商（如 OpenAI、Anthropic、讯飞星火等）。平台将模型分为系统推理、Embedding、Rerank和语音转文字四类，用户可根据需求选择。

2025-07-13 09:55:24 1226

原创【人工智能】AI Agent 开发平台：Dify

Dify 是一款开源的大语言模型应用开发平台。它融合了后端即服务和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的工作流，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

2025-07-13 09:34:15 1758

原创【人工智能】AI Agent 工作流及产品介绍

AI Agent 的工作流程是一个 “感知 → 思考 → 行动 → 学习” 的智能闭环。目前该领域处于爆发期，既有像 LangChain / AutoGen 这样的强大开发框架，也有 AutoGPT / BabyAGI 这样的概念先驱，更有 GPTs 这样的易用平台和 Devin 这样的专业领域标杆。优秀的 Agent 产品正在从实验走向实用，在客服、编程、数据分析、个人助理等多个领域展现出巨大潜力。衡量 Agent 好坏的核心在于其自主完成任务、有效使用工具、动态规划调整和持续学习进化的能力。随着 LLM

2025-07-12 16:27:33 1007

空空如也

空空如也