Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(2376)
  • 收藏
  • 关注

原创 Elastic 线下 Meetup 将于 2025 年 6 月 28 号下午在南京举行

​2025 Elastic Meetup 南京站活动,由 Elastic、TechTalk 社区、新智锦绣联合举办,现诚邀广大技术爱好者及开发者参加。2025年6月28日 13:30-18:00江苏省南京市秦淮区汉中路189号平安金融中心三楼2025 Elastic Meetup 南京站_发现精彩城市生活-活动发布及直播平台!!请报名成功后,扫码加入本次活动群,接收活动相关信息讲师:Elastic 社区首席布道师 —— 刘晓国现为 Elastic 社区首席布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职

2025-05-19 10:41:52 1760

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 25578 19

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

2020-02-25 20:01:55 163402 98

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 17544 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 174118 32

原创 你以为 Elastic 只做 SIEM?再好好想想!

Elastic重新定义XDR安全防护,通过收购Endgame技术深度整合EDR能力,打造原生统一的安全平台。该方案突破传统EDR的数据处理瓶颈,支持PB级端点、网络、云端数据的实时关联分析,提供跨厂商的无缝防护。平台包含获奖级恶意软件防护、勒索软件防御和行为检测能力,支持Windows/macOS/Linux全平台。创新采用"数据湖"付费模式,仅按实际使用数据计费,包含无限端点授权。通过开源检测规则、AI辅助分析和自动故障排查等功能,实现透明化安全运营。在AV-Comparatives测

2025-06-28 11:12:08 878

原创 使用 Elasticsearch 构建一个用于真实健康数据的 MCP 服务器

摘要:本文介绍了如何使用FastMCP框架和Elasticsearch构建一个MCP(Model Context Protocol)服务器来管理和分析Apple Health健康数据。文章详细讲解了MCP的三个核心组件(Resources、Tools和Prompts)的实现方法,展示了如何将Elasticsearch作为数据存储后端,并通过Claude Desktop实现自然语言交互查询。该解决方案支持动态数据查询、趋势分析和可视化展示,为LLM代理提供了实时健康数据访问能力。文中包含完整的代码实现、测试方

2025-06-27 10:03:13 871

原创 Elastic:AI,开箱即用!

Elastic宣布其AI功能现已在Elastic Cloud中默认启用,消除了传统AI部署的复杂流程。该解决方案提供了开箱即用的托管LLM,支持安全、可观测性和搜索领域的AI应用,包括威胁检测、根因分析和自然语言查询等功能。Elastic独特的优势在于将AI深度集成到现有工作流中,支持检索增强生成(RAG)技术,并能统一访问各类数据源。同时平台保持开放架构,允许用户连接第三方LLM。该方案显著降低了AI使用门槛,使企业能立即获得AI驱动的安全防护和运维洞察,无需额外配置或签署第三方合同。

2025-06-26 09:05:07 1096

原创 Elastic 被《Forrester Wave™:2025 年第二季度安全分析平台》评为领导者

Elastic入选Forrester 2025年Q2安全分析平台领导者象限。报告指出,Elastic以工程驱动方式解决安全问题,整合SIEM、XDR和云安全于统一平台,提供AI驱动的检测、开放架构和灵活部署。其优势包括:RAG技术加速警报处理、透明AI增强分析、MITRE ATT&CK规则库,以及混合部署支持。客户数据显示,该平台可缩短99%平均修复时间。Elastic Security将多种安全功能整合,支持SaaS/本地部署,所有检测规则开源。近期与AWS达成战略合作,持续强化安全创新。

2025-06-26 08:22:16 955

原创 在 Logstash 中使用 Ruby 脚本

摘要:本文介绍了Logstash中Ruby filter插件的使用方法,用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码,适用于标准过滤器无法处理的复杂场景,如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法,并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力,能够满足各种复杂数据处理需求。

2025-06-25 09:27:42 1311

原创 开始使用 Elastic AI Assistant for Observability 和阿里 Qwen3

本文演示了如何结合Qwen3大模型与Elastic AI Assistant进行日志分析。首先通过Elastic DevTools添加了一条代理服务错误日志记录,然后配置AI Assistant连接器。在Observability模块中安装知识库后,用户可通过自然语言查询(如询问代理服务的临时错误原因)与日志数据进行交互分析。文章还提到当前版本(9.0.01)存在特殊配置需求,并预告后续将介绍使用Kibana创建知识库的方法。整个过程展示了AI技术如何帮助开发者更直观地理解和排查系统问题。

2025-06-25 09:01:56 977

原创 了解公共部门中的数据网格:支柱、架构和示例

​想想那些像公共健康记录、城市规划模型等项目背后的所有数据。政府机构一直在产生大量数据。当数据分散在云平台、本地系统或像卫星和应急响应中心这样的专业环境中时,情况变得更加复杂。找到信息变得困难,更不用说有效利用它了。不同团队使用许多不同的应用程序和数据格式,导致真正的互操作性缺失。尽管他们尽最大努力建设数据驱动的组织,但根据最近 Elastic 的一项研究,65% 的公共部门领导者仍然难以实现实时、规模化地持续使用数据。“一位公共部门领导告诉 Elastic,‘我们的工作时间变长了,这不好,因为我

2025-06-24 10:05:39 915

原创 打破网络安全孤岛:实现防御数据协作

摘要:现代网络战场面临数据孤岛挑战,65%的公共部门在实时数据应用上存在困难。Elastic提出数据网格解决方案,通过跨集群搜索技术实现分布式数据协作,无需集中存储敏感数据。该方法基于四大原则:领域所有权、数据产品化、自助平台和联合治理,可提升90%运维效率,将威胁响应从数天缩短至分钟。为国防部门提供安全、高效的互操作性平台,在尊重数据主权的同时增强决策优势。典型实施周期仅6个月即见效。

2025-06-24 08:43:29 909 1

原创 如何在 Python 中连接 Elasticsearch 并使用 Qwen3 来实现 RAG

本文介绍了如何在本地部署阿里Qwen3大模型并连接到Elasticsearch实现RAG应用。主要内容包括: 创建Elasticsearch API key获取访问凭证 编写Python代码实现RAG流程,包括Elasticsearch查询、上下文构建和Qwen3模型调用 配置环境变量和证书,确保代码正常运行 测试Qwen3模型接口工作正常 修改代码适配最新Elasticsearch版本的数据结构 最终成功运行示例查询"哪些人在茶会",Qwen3准确识别出故事中的角色并给出详细回答 文章

2025-06-23 22:01:21 1371

原创 Elasticsearch:什么是搜索相关性?

搜索相关性是衡量搜索结果与用户查询意图匹配程度的关键指标,其核心在于通过文本分析、个性化算法和内容质量评估实现精准匹配。影响相关性的主要因素包括:1. 关键词匹配技术(TF-IDF等);2. 内容权威性与时效性;3. 用户意图识别;4. 个性化设置(地理位置/搜索历史)。当前行业采用BEIR等基准进行评估,并通过点击率、停留时间等用户行为指标持续优化。随着AI技术发展,语义搜索、向量搜索等创新方法正在重塑相关性标准,Elasticsearch等平台已集成机器学习技术实现智能排序。未来趋势将侧重多模态搜索、生

2025-06-23 14:28:03 1181

原创 通过 AIOps 、生成式 AI 和机器学习实现更智能的可观测性

AIOps:智能运维的未来 摘要:AIOps通过AI和机器学习技术优化IT运维,帮助团队应对云原生时代的数据爆炸、系统复杂性和快速变化三大挑战。它能自动分析海量运维数据,减少告警噪音,加速根因分析,并降低MTTR。随着生成式AI的兴起,AIOps正从解释日志、代码转换等基础功能,向具备上下文感知的智能助理演进。Elastic等平台已整合AI助理和语义搜索能力,但完全自主的运维代理仍需突破推理规划等技术瓶颈。AIOps正从可选能力转变为现代IT运维的核心竞争力,通过渐进式部署可有效建立组织信任,最终实现业务价

2025-06-22 11:25:16 742 1

原创 节省分析师时间:用 AI 实现更智能的防御调查

摘要: 英国(MOD)面临安全分析师倦怠和运营效率低下的挑战,每天需处理大量警报,数据泄露事件激增400%。《国防人工智能战略(2022)》提出通过AI自动化提升效率,Elastic的AI工具(如AIAssistant和AttackDiscovery)可整合多源数据,快速识别威胁,将调查时间从数小时缩短至几分钟,减少74%的人力消耗。统一数据模型支持零信任架构,简化流程并降低成本25%。MOD计划2026年前实现零信任,需依赖数据整合而非增加工具。Elastic的解决方案助力国防安全实现实时协作与高效

2025-06-21 09:18:25 759

原创 从 Elasticsearch 集群中移除一个节点

摘要:本文介绍了从Elasticsearch集群安全移除节点的步骤:1)可选执行同步刷新;2)获取节点名称;3)通过更新集群设置将节点排除;4)等待分片迁移完成后停止节点进程;5)验证集群状态。整个过程确保无数据丢失和性能影响。对于不想管理节点的用户,推荐使用ElasticCloud Serverless托管服务。文章还提供了相关命令和操作指南。(150字)

2025-06-21 08:49:12 883

原创 ECK 简化:在 GCP GKE Autopilot 上部署 Elasticsearch

本文介绍了如何在Google Kubernetes Engine(GKE) Autopilot上部署Elasticsearch集群。主要内容包括:1) 使用GKE Autopilot全托管Kubernetes服务简化集群管理;2) 通过Elastic Cloud on Kubernetes(ECK)运维工具快速部署Elasticsearch和Kibana;3) 详细配置步骤,包括创建集群、安装ECK Operator、部署单节点实例及调整资源配置;4) 如何通过LoadBalancer公开访问Kibana;

2025-06-20 09:17:51 665

原创 使用 AI 加速你从当前 SIEM 迁移到 Elastic Security

摘要:Elastic Security 8.18/9.0推出Automatic Migration功能,利用生成式AI实现SIEM的无缝迁移。该功能通过ELSER NLP模型进行语义匹配,将Splunk规则自动映射到1300+预建检测规则,未匹配规则则通过RAG技术转换为ES|QL查询。系统提供三重验证机制确保翻译准确性,并支持可视化对比和AI辅助编辑。目前以技术预览形式开放给企业级客户,未来将扩展支持更多SIEM系统和仪表板迁移。该功能与AutomaticImport等AI工具协同,可大幅降低迁移复杂度

2025-06-19 11:11:50 859

原创 Elastic 在 Microsoft Build 2025 —— 开发者,开发者,开发者!

Elastic以顶级赞助商身份亮相Microsoft Build 2025开发者大会,重点展示其AI创新成果。大会期间,Elastic将通过技术会议、现场演示(5月20日Theater B)和展台交流(#200),向开发者介绍Azure LLM与Elasticsearch的智能搜索集成、LLM可观测性方案等新技术。同时宣布多项重要进展:Elasticsearch正式支持混合搜索和BBQ向量数据库优化技术;推出Security自动迁移功能;Elastic Cloud Serverless即将在Azure正式发

2025-06-19 10:22:27 945

原创 炒作已经结束:生成式 AI 正推动企业搜索的发展

Accenture与Elastic合作推动企业生成式AI应用转型。随着2025年生成式AI进入生产阶段,企业需要构建强大的数据基础。双方合作结合Elastic的AI搜索技术和Accenture的行业专长,帮助企业优化数据利用。Elastic的多阶段检索策略和Accenture的"手术室"流程显著提升搜索准确性。典型案例显示,采用该方案的企业已实现95%相关性提升和50%检索加速。文章强调,企业应着眼AI驱动的业务流程重塑,而非简单自动化,并建议从高成功率的内部场景切入。通过建立可搜索的知

2025-06-18 11:44:52 681

原创 使用 Elasticsearch 提升 Copilot 能力

了解如何将 Elasticsearch 与 Microsoft 365 Copilot Chat 和 Microsoft Teams 中的 Copilot 搭配使用。

2025-06-18 11:09:40 1334

原创 Elasticsearch Open Inference API 新增对 Cohere 的 Rerank 3 模型支持

Reranker 会对现有向量搜索或关键词搜索系统返回的 “前 n 个结果” 进行语义增强,不需要更换模型或更改数据索引,就能显著提升这些结果的相关性,使其更适合作为上下文传递给大语言模型(LLMs)。Elastic 最近与 Cohere 合作,使 Elasticsearch 开发者能轻松使用 Cohere 的。

2025-06-17 10:36:09 906

原创 IBM 与 Elasticsearch 合作,通过 watsonx Assistant 提供对话式搜索

IBM与Elasticsearch合作,为watsonx Assistant集成检索增强生成(RAG)能力,提供基于企业数据的对话式AI搜索功能。通过Elasticsearch向量数据库支持多模态数据检索和混合搜索,结合IBM Granite等大语言模型,实现业务上下文的智能对话体验。IBM watsonx Discovery平台与Elasticsearch深度整合,提供语义搜索、联合搜索和向量搜索能力,助力企业快速构建AI助手。该方案显著提升AI应用开发效率(8-32倍),支持开箱即用的ELSER语义搜索

2025-06-17 09:37:18 647

原创 Elasticsearch 开放推理 API 增加对 IBM watsonx.ai rerank 模型的支持

Elasticsearch开放推理API新增对IBM watsonx.ai rerank模型的支持,提升语义搜索体验。通过集成IBM watsonx reranker,用户无需重新索引即可实现高相关性搜索排序。文章详细介绍了在Elasticsearch Serverless项目中使用IBM watsonx API密钥创建推理端点、配置索引数据,以及通过text_similarity_reranker进行语义重排搜索的完整流程。测试结果显示,相比传统关键词匹配,语义重排能更准确地返回上下文相关结果。该集成增强

2025-06-17 09:18:25 1331

原创 Elastic:什么是 MLOps?

MLOps(机器学习运维)是一套流程,旨在简化机器学习模型的开发、部署及维护。它结合了机器学习、DevOps和数据工程,通过自动化、持续监控和治理确保模型可靠性。MLOps框架包括数据准备、模型训练、部署和监控等组件,面临成本、工具选择和技能要求等挑战,但能提升效率、网络安全和模型可观察性。Elastic等工具可帮助实现MLOps的可观察性和数据分析需求。

2025-06-16 15:51:54 598

原创 Elasticsearch:什么是搜索分析?

搜索分析很重要,因为它让企业和网站所有者能够深入了解用户的行为和偏好。它衡量网站搜索功能的整体有效性,提供优化网站和知识库所需的洞察。搜索分析在搜索引擎优化( search engine optimization - SEO )和搜索引擎营销( SEM )等领域,以及任何拥有搜索应用的组织中都很有用,因为它可以提升搜索相关性和搜索引擎排名,从而通过搜索带来更好的用户体验。

2025-06-16 15:18:20 625

原创 Elasticsearch:什么是异常检测?

异常检测摘要 异常检测是识别数据中偏离正常模式的技术,用于发现潜在问题或威胁。常见异常类型包括点异常(单个异常值)、上下文异常(环境相关异常)、集体异常(群体模式异常)、时间异常(时序偏差)及空间异常(地理分布异常)。其核心流程为建立基线模型、比对新数据、验证并处理异常。主要技术分为基于规则和机器学习(监督/无监督/半监督学习)两类,广泛应用于网络安全、系统监控、欺诈检测等领域。虽然能提前预警风险,但也面临数据标注不足、误报/漏报平衡等挑战。最佳实践强调数据理解、技术适配和持续优化。Elastic等工具提供

2025-06-16 11:30:57 856

原创 什么是商业中的人工智能 ?

什么是商业中的人工智能 ?​商业中的 AI 有助于提升生产力并简化运营,从而提升商业价值。像 machine learning、 deep learning 和 natural language processing (NLP) 这样的人工智能技术利用数据的力量,在解决问题和做决策方面实现了超越人类能力的规模。诸如 predictive analysis 这样的能力 —— 可以使用数据预测未来结果并基于趋势建模可能性——以实际方式体现了 AI 的优势。从日常生产力到推动创新, AI 也彻底改变了商业。

2025-06-16 10:57:02 1117

原创 Elasticsearch:什么是混合搜索?

混合搜索(Hybridsearch)是一种融合关键词搜索和语义搜索的新型检索方式,通过结合传统精确匹配与语义理解的优势,显著提升搜索精准度。它将BM25排序算法与向量搜索技术相结合,既能处理精确关键词匹配(稀疏向量),又能理解查询意图和上下文(密集向量)。混合搜索特别适合处理模糊查询和复杂语义场景,在电商、企业文档等应用中展现优势。与检索增强生成(RAG)技术结合后,还能为生成式AI提供更准确的上下文信息。Elastic等平台已提供开箱即用的混合搜索解决方案,使开发者能轻松实现更智能的搜索体验。

2025-06-15 12:29:24 904

原创 什么是 traces?

分布式追踪是实现云原生应用可观测性的关键技术,它通过记录请求在微服务架构中的完整调用链(包含traceID、span层级和时间戳等元数据),帮助开发者快速定位性能瓶颈和错误根源。与传统追踪相比,分布式追踪能应对复杂的服务网络,提供端到端的代码级可视化。OpenTelemetry作为开源标准,统一了追踪数据采集方式。结合日志、指标和持续分析三大支柱,分布式追踪使运维团队能全面监控系统健康状态,通过AI增强的异常检测优化应用性能。实施时需完成工具选型、代码埋点、数据收集分析和可视化等步骤。

2025-06-14 18:47:18 1109

原创 使用 Azure LLM Functions 与 Elasticsearch 构建更智能的查询体验

摘要:本文介绍了一个结合Azure GenAI LLM与Elasticsearch的智能房地产搜索应用示例。通过GitHub Codespaces可快速配置运行该应用,实现精准灵活的混合搜索体验。文章详细说明了从创建Elasticsearch索引、配置搜索模板,到部署Azure OpenAI服务和Azure Maps的完整流程。该应用采用分层架构,利用LLM解析用户查询,并通过参数提取、地理编码和搜索工具生成结构化搜索请求,最终在Elasticsearch中执行混合搜索。读者可按照教程创建云资源,配置环境,

2025-06-14 18:13:00 1514 1

原创 什么是 OpenSearch?- 比较 OpenSearch 及 Elasticsearch

OpenSearch是Amazon基于旧版Elasticsearch(7.10.2之前版本)和Kibana创建的分支项目,主要用于支持其Amazon OpenSearch Service。性能测试显示,Elasticsearch在速度、可扩展性和资源效率方面全面优于OpenSearch。Elastic强调其开源承诺,虽然曾因Amazon的行为调整许可证,但现已回归AGPL许可证。对比显示,Elasticsearch在搜索、数据分析、云中立性和十年积累的技术经验方面具有明显优势,而OpenSearch缺乏El

2025-06-13 14:43:07 1197

原创 下一代观测技术的进化:通过 OpenTelemetry 和生成式 AI 实现数据统一

生成式AI与机器学习正在重塑观测技术,但数据孤岛阻碍了其潜力发挥。本文探讨如何通过OpenTelemetry统一日志、指标和追踪,打破数据壁垒,释放生成式AI在自然语言调查、根因分析和主动运维中的全部能力。传统观测工具将数据割裂存储,导致AI分析时面临信息不完整、关联困难等问题。而统一存储的丰富日志(包含完整上下文数据)与生成式AI结合,可实现跨维度智能分析、自然语言查询和预测性维护。文章展示了OpenTelemetry实现方案,并指出统一数据将推动观测从被动响应向主动运维进化,为企业带来更高效的问题诊断和

2025-06-13 11:04:10 1060

原创 MCP(Model Context Protocol,模型上下文协议)的当前状态

了解 MCP、项目更新、功能、安全挑战、新兴用例,以及如何动手操作 Elastic 的 Elasticsearch MCP 服务器。​Model Context Protocol(MCP)正迅速成为 AI 智能体和上下文丰富型 AI 应用程序的基础构建模块。在这篇文章中,我将介绍会议上的关键更新、新兴用例、MCP 的发展前景,以及如何动手操作 Elastic 的 Elasticsearch MCP 服务器。

2025-06-13 10:21:51 1503

原创 日志文件是什么?

日志文件是由各类系统、应用和设备生成的数据记录文件,包含时间戳和上下文信息,用于记录运行状态、安全事件和用户活动。常见的日志类型包括系统日志、应用日志、安全日志等,存储位置因操作系统而异。有效的日志管理需要集中收集、标准化存储和智能分析,企业通常采用Elastic等专业工具处理PB级日志数据,实现故障排查、安全分析和性能优化。日志管理与指标、追踪共同构成现代可观测性的三大支柱。

2025-06-12 11:18:19 924 1

原创 网络威胁解析:如何保护你的企业

网络威胁解析:如何保护你的企业。​网络威胁(Cyber threats - 网络安全威胁)是指那些可能通过利用安全漏洞,对个人或组织产生负面影响的事件、行为或情况。网络威胁可能影响数据、系统、运营或人们数字存在的机密性、完整性或可用性。​Elastic Security 提供对威胁的无限可见性,缩短调查时间,保护你的企业免受不断演变的威胁。借助由 Search AI Platform 驱动的 Elastic Security,安全团队能够全面了解攻击面,发现隐藏威胁,并以前所未有的规模阻止攻击。

2025-06-12 10:42:35 876

原创 Elastic 依然是全观测性的领导者

摘要:文章针对某公众号对Elasticsearch的偏颇评价做出回应,系统阐述了Elastic作为全平台解决方案的技术优势。通过DB-Engines排名、Gartner等权威报告数据,证明Elastic在搜索、全观测和安全领域的领导者地位。重点介绍了LogsDB+ZSTD压缩、BBQ向量优化等六大技术创新,对比分析了性能、成本等核心指标。文章强调Elastic统一平台可覆盖日志、指标、APM、SIEM等全数据生命周期,提供开箱即用的全观测与安全解决方案,其开源生态包含823个GitHub仓库,展现出强大的技

2025-06-12 10:07:10 1793 1

原创 Elasticsearch:使用 ES|QL 进行地理空间距离搜索

ES|QL在Elasticsearch 8.15中引入了地理空间距离搜索功能(ST_DISTANCE),成为最受欢迎的地理搜索特性之一。该功能遵循OGC标准,与PostGIS等空间数据库兼容,支持以米为单位计算球面距离(基于Haversine公式),精度达1厘米。通过Lucene索引优化,查询性能从30秒提升至50毫秒。ES|QL提供五种核心空间函数(ST_INTERSECTS等),其语法比SQL更简洁,且无需CRS转换。典型应用包括查找指定半径内的兴趣点(如10公里范围内的咖啡馆),并支持排序和聚合分析。

2025-06-12 09:39:10 1095

02-GraphRAG 和 Elasticseach 8 的创新实践 - 徐胜 上海 20250222

主要分享结合 Elasticsearch 8 的最新特性和微软的最新技术 GraphRAG,来实现垂域知识库的智能体知识问答的方法和技术案例。Elasticsearch 8 里面的混合检索和多路召回技术,和知识图谱完美结合,实现了更优秀的问答效果。

2025-03-03

03-Elasticsearch 在 AI 检索与 Serverless 模式成本优化的新特性 王亚宁 北京 20241214

本次议题将深入探讨 Elasticsearch 在 AI 检索和 Serverless 模式方面的最新进展,重点介绍如何利用这些新特性提升检索体验、快速搭建企业级 RAG 服务,以及在日志场景如何通过 Serverless 模式实现显著的成本优化和性能提升。

2024-12-17

01-AI 驱动 - 搜索的未来 刘晓国 北京 20241214

内容概要:本文由Elastic中国社区首席布道师刘晓国在北京2024年12月14日的演讲内容整理而成,重点介绍了AI驱动的Elasticsearch向量搜索与语义搜索技术。文章首先探讨了向量搜索的需求背景,包括经典搜索的局限性和向量搜索的优势。随后,详细讲解了向量相似度的基础知识,如稀疏向量和密集向量,以及Elasticsearch如何实现向量搜索。文章还涵盖了Retrievers的使用方法,以及如何在Elasticsearch中使用第三方嵌入模型,如OpenAI的CLIP模型。此外,还介绍了Elasticsearch向量引擎的最新进展,包括硬件加速、向量量化和并发查询改进等方面。最后,讨论了RAG(检索增强生成)的架构及其在生成式人工智能中的应用,特别是如何结合私有数据和大型语言模型(LLM)来解决特定领域的问题。 适合人群:大数据处理、搜索引擎和自然语言处理方向的工程师及研究者。 使用场景及目标:① 了解和掌握Elasticsearch向量搜索和语义搜索的实现方法和技术细节;② 探索如何在企业级应用中集成和使用这些技术;③ 理解RAG架构在生成式人工智能中的应用。 阅读建议:本文内容较为深入,涉及较多的技术细节和实际操作,建议读者在阅读过程中配合官方文档和示例代码,以便更好地理解和实践相关技术。

2024-12-16

04 - 降本增效的利器,认识一个不同的 Elastic 顾鹏飞 北京 20241214

内容概要:本文介绍了Elastic作为一个领先的AI搜索引擎公司,其全球布局及在中国区的业务生态。强调了Elastic解决方案帮助企业从全量规模化的数据中快速获取价值,提升效率,降低成本。文中详细阐述了Elastic三大核心方案(可观测性、安全和搜索)的具体功能及其如何帮助企业构建灵活的解决方案。同时,文档还介绍了Elastic的两项关键技术——跨集群复制(CCR)和可搜索快照(searchable snapshot),这两项技术大大提升了企业在混合云环境下的容灾能力和存储成本的优化。 适合人群:对Elastic及其技术感兴趣的企业决策者、IT技术专家及数据科学家。 使用场景及目标:帮助企业利用Elastic的技术方案提升数据处理和分析能力,优化IT基础设施,降低成本,提高运营效率,更好地应对复杂多变的数据安全和性能需求。 阅读建议:本文详细介绍了Elastic的各项技术和实际应用案例,读者可以通过具体案例深入了解Elastic的技术优势和实施效果。

2024-12-16

02-Kibana 构建高级可视化 包春喜 北京 20241214

内容概要:本文详细介绍了Kibana在构建高级可视化中的应用,涵盖Elastic Geo类型(geo_point和geo_shape)的定义和使用方法,以及Elastic Maps的介绍。此外,文章还详细讲解了Vega的声明式语法及其在Kibana中的应用场景,帮助读者了解如何通过编写Vega语句实现复杂的自定义可视化。 适合人群:熟悉Kibana和Elasticsearch的基础操作,希望深入了解地理空间数据可视化和自定义图表的技术人员。 使用场景及目标:①在Elasticsearch中定义和使用geo_point和geo_shape类型;②利用Elastic Maps进行地理空间数据的分析和可视化;③通过Vega创建复杂的自定义图表,满足特定的可视化需求。 其他说明:文章提供了详细的示例代码和实际应用案例,帮助读者更好地理解和应用Kibana的高级可视化功能。

2024-12-16

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024

内容概要:本文详细介绍了 Elasticsearch 8.x 版本中的向量搜索技术和优化方法。首先概述了传统暴力搜索和HNSW & KNN的对比,强调了HNSW在大数据量下的性能优势。接着讨论了向量搜索在具体应用中的多种操作,如多个kNN字段的向量搜索、聚合查询、滤波器在近似kNN搜索中的重要性和效果。此外,还涉及了使用 RRFRanking 算法对混合搜索引擎的结果进行排序,以及使用第三方机器学习模型进行语义搜索的方法和技术细节。最后,提到了Elastic训练的稀疏召回模型ELSER及其优势。 适合人群:Elasticsearch 开发者,数据科学家,搜索系统架构师。 使用场景及目标:①优化向量搜索性能,特别是在大规模索引上的查询速度;②理解并向量化搜索引入更多高级功能,如语义搜索和混合评分机制。 其他说明:文中提供了多个实践案例和优化技巧,有助于读者快速掌握 Elasticsearch 在复杂搜索场景中的应用。

2024-12-10

高管指南:如何将生成式AI融入运营

内容概要:本文是一本高管指南,详细介绍如何将生成式 AI 技术融入业务运营,从理论基础到实践步骤,涵盖了生成式 AI 的定义、发展现状及其关键技术。文章通过具体的行业案例,展示了生成式 AI 在电信、金融、零售等多个行业中的应用效果,提出了一套六步走的具体实施方案,强调了从试验到正式实施过程中需要注意的关键点,如数据安全、模型选择和管治等问题。 适合人群:企业高管、技术负责人、项目经理和其他希望了解如何利用生成式 AI 提升业务效能的读者。 使用场景及目标:本文适用于企业在数字化转型过程中,希望通过生成式 AI 优化业务流程、提高工作效率和客户满意度的各种场景。目标是帮助企业和团队在实际运营中有效应用生成式 AI,实现业务增长和技术进步。 其他说明:生成式 AI 的实施需要考虑数据隐私和安全问题,同时还需要团队的合作和技能培训。通过逐步推进和不断迭代,最终实现生成式 AI 的全面融合,为企业带来更大的商业价值。

2024-12-05

Elastic帮助企业发挥数据的作用

内容概要:本文详细探讨了IT领导者如何通过实时数据分析解决方案来提升企业的数字客户体验、运营弹性和网络安全性。具体介绍了数据挑战和业务复杂性增加的原因,提出了搜索驱动型解决方案的优势和应用场景,并列举了多个实际案例来说明其效果。同时,文中对比了传统方法与搜索驱动型解决方案的优劣,强调了后者在实时性和易用性方面的显著优势。 适合人群:对企业IT管理和数据分析感兴趣的IT专业人士、项目经理和技术负责人。 使用场景及目标:① 改善数字客户体验,确保系统稳定性和安全性;② 优化数据处理和检索速度,减少数据孤岛;③ 实现统一的平台管理和灵活的架构部署,提高运营效率;④ 利用Machine Learning和AIOps技术实现智能化数据分析。 其他说明:文章通过实例展示了Elastic的解决方案,包括Elastic可观测性、Elastic安全性和Elastic企业搜索,为企业提供了具体的实施路径和方法。阅读过程中,可以通过实际案例更好地理解技术的实际应用和带来的效益。

2024-12-05

Elastic最新产品及解决方案

内容概要:本文介绍 Elastic 的最新产品及解决方案,帮助企业解决数据挑战并加速商业成功。主要内容包括数据孤岛和重复数据的问题及其解决方案、提升用户体验、降低安全风险和优化运营等方面的措施。强调了通过Elastic提供的全面可观测、安全和搜索解决方案来实现业务成长的具体方法和技术优势。文中还详细介绍了Elastic的技术架构、功能特点以及与其他产品的对比,展示了Elastic作为行业领导者的地位和市场表现。 适用人群:企业管理者、IT决策者、数据分析专家、网络安全专业人员和研发工程师。 使用场景及目标:旨在帮助企业和组织更好地利用数据资产,具体应用场景涵盖了日志管理、APM监控、安全分析、AI/ML模型构建等多个方面,目的是构建弹性业务流程、提高运营效率、保障信息安全和改善客户体验。 其他说明:Elastic提供了一个强大而灵活的数据平台,通过整合各类先进的技术如机器学习、实时分析等,为企业提供了广泛的服务范围,包括但不限于搜索引擎优化、安全性增强和业务智能化。此外,它还支持多种部署模式(公有云、私有云和本地部署)以满足不同类型客户的个性化需求。

2024-12-05

02-ES-小工具撬动大杠杆- 日常高效运维 Elastic - 尚雷 线上 20241128

如何通过编写自动化运维脚本处理 Elastic 故障、降低人工运维成本 1、 如何快速平衡节点分片 2、 如何快速处理索引未分片 3、 如何处理 Kibana 程序宕无法访问 4、 如何获统计索引占用空间大小

2024-11-29

01-Elastic 向量搜索及 构建 RAG 应用 - 刘晓国 线上 20241128

1、为什么需要向量搜索? 2、向量相似度基础知识 3、使用 Elastic 实现向量搜索 4、检索增强生成 - RAG

2024-11-29

05-Elastic Stack 在企业安全运营中的实践和探索- 余锡琨 成都 20240921

在现代企业中,安全和合规管理已经成为不可忽视的关键领域。随着网络威胁的不断演变和全球监管要求的日益严格,企业需要具备强大的工具来应对这些挑战。Elastic Stack,以其高度可扩展的搜索、分析和可视化能力,为企业提供了一个强大的安全实践平台。本次演讲将详细探讨如何利用 Elastic Stack 的组件,如 Elasticsearch、Logstash、Kibana(以及Beats),来构建和优化企业的安全监控系统,从而实现高效的威胁检测和合规管理。

2024-09-29

04-腾讯云ES AI增强与向量检索特性介绍 - 陈月望 成都 20240921

腾讯云 ES 结合 AI 技术,推出向量检索能力,实现文本、图像的多模态智能搜索。通过内置模型和机器学习节点,提供从向量生成到检索的全流程服务。同时,结合 LLM 大模型、腾讯云内核优化特性,持续优化查询转换和数据向量化能力,为 打造高效、准确的 RAG 系统 提供一站式解决方案。

2024-09-29

01-Elasticsearch 简单而高效的管道查询语言- ESQL刘晓国 成都 20240921

Elasticsearch 查询语言 (ES|QL) 提供了一种强大的方法来过滤、转换和分析存储在 Elasticsearch 中以及未来其他运行时中的数据。 它旨在易于最终用户、SRE 团队、应用程序开发人员和管理员学习和使用。用户可以编写 ES|QL 查询来查找特定事件、执行统计分析并生成可视化效果。 它支持广泛的命令和功能,使用户能够执行各种数据操作,例如过滤、聚合、时间序列分析等。 Elasticsearch 查询语言 (ES|QL) 使用 “管道”(|) 逐步操作和转换数据。 这种方法允许用户组合一系列操作,其中一个操作的输出成为下一个操作的输入,从而实现复杂的数据转换和分析。

2024-09-29

02-kibana 创建高级可视化 - 包春喜 成都 20240921

kibana 自带了很多种我们常见的可视化图表类型,例如柱状图、饼图、表格和地图等。这些自带的可视化图表可以帮助我们在日常使用中更好的观察和分析我们的数据。但是在实际使用中我们有的时候可能需要做大屏展示或者更多个性化的展示需求,所以针对这种个性化展示需求我们可以将 kibana 和 vega 结合使用来实现。

2024-09-29

02- Elastic Meetup-如何系统化的备战 Elastic认证专家考试 - 铭毅天下 线上 20240918

​1.Elastic 认证专家考试介绍 ​2.考纲介绍 ​3.备战介绍

2024-09-18

01 - 一次生产集群 ES Watcher 失效的深度排查与分析 全过程剖析与解决方案 - 尚雷 线上 20240918

​1. ES watcher 知识介绍 ​2. 生产环境 watcher 失效问题排查及分析处理过程

2024-09-18

01- Elasticsearch 简单而高效的管道查询语言 - 刘晓国 南京 20240825

1,为什么需要向量搜索? 2,向量相似度基本知识 3,使用向量搜索,RAG 结合大语言模型来避免 LLM 幻觉

2024-08-25

03-ES APM全观测实战 - 陈文磊 南京 20240825

1.ES APM 使用背景介绍 2.ES APM 功能使用介绍 3.ES APM 实战介绍

2024-08-25

02-ES在互联网公司中应用及优化过程 - 尚雷 南京 20240825

1.ES 架构介绍 2.ES 节点扩缩容 3.ES 的优化记录

2024-08-25

【AIOps领域】基于M02-双 MCP 赋能ES Luke 南京 20250628CP框架的Elasticsearch与Kibana智能根因分析系统设计:提升企业数据洞察效率和自动化运维能力

内容概要:本文介绍了在双 MCP框架下,Elasticsearch (ES) 和 Kibana 新一代 AIOps 实践的发展和应用。文章首先概述了项目背景,指出尽管 ES 已经在自动化根因分析、动态数据洞察等方面展现了巨大潜力,但其在 AI 领域的应用尚未得到充分挖掘。接着,文章详细解释了 MCP(模型上下文协议)的概念及其重要性,强调它是 AI 助手与外部数据源无缝交互的关键协议,类似于 AI 领域的“USB-C”或“HTTP”协议。MCP 定义了应用程序和 AI 模型间交换上下文信息的标准方式,简化了 AI 应用的开发和集成。文中还展示了如何通过 MCP 实现 ES 和 Kibana 的智能交互,具体包括资源读取、工具调用、提示模板等功能,并通过实际案例演示了利用 LLM 和 MCP 快速处理安全事件的流程。最后,文章展望了未来的发展方向,如开源 ES 的大模型记忆模块和开发专门的 MCP 客户端。 适合人群:对 AIOps、Elasticsearch、Kibana 或 AI 技术感兴趣的 IT 专业人员,特别是那些希望提高数据分析效率、优化系统管理和提升安全性的技术人员。 使用场景及目标:①利用 MCP 实现 ES 和 Kibana 与 LLM 的无缝对接,加速故障排查和根因分析,将工作量从数小时甚至几天缩短至分钟级别;②通过自然语言交互方式,使 AI 能够理解和生成数据洞察,优化数据可视化;③构建高效的数据驱动 AI 解决方案,提升企业在复杂 IT 环境中的问题诊断和优化能力。 其他说明:文章由 AI 解决方案架构师 Luke Azmat Ablat 主讲,他专注于 ES 在 AI 领域的应用,曾主导多个相关项目并推动了 ES/Kibana MCP Server 开源项目的发展。读者可以通过官方 GitHub 获取更多关于 MCP 社区和项目的最新进展。

2025-06-28

03-Elasticsearch 数据流转之道 - 从写入到查询的技术探秘 尚雷.南京 20250628

内容概要:本文深入探讨了Elasticsearch的数据流转机制,从写入到查询的全过程进行了技术剖析。首先强调了关注数据流转的重要性,包括性能优化、瓶颈识别、资源配置和成本控制。接着介绍了Elasticsearch如何基于PacificA算法进行改进,以适应互联网级别的数据架构需求。文章详细解析了Elasticsearch的写入和读取流程,包括路由机制、刷新与合并操作,以及不同写入模式的选择。最后通过实际案例展示了性能优化的具体方法,如合理设置副本数量、优化索引大小和管理操作系统缓存。 适合人群:具备一定Elasticsearch使用经验的开发人员和技术管理人员,尤其是对性能优化和架构设计有需求的用户。 使用场景及目标:①理解Elasticsearch内部机制,识别性能瓶颈并进行优化;②掌握写入和查询流程,合理配置系统资源;③通过实际案例学习如何优化索引、副本设置和缓存管理,提高系统稳定性和响应速度。 阅读建议:本文内容较为深入,建议读者结合自身应用场景,重点关注与自身业务相关的性能优化部分,并尝试在实际环境中应用所学知识,进行针对性的调整和测试。

2025-06-28

04-ES日志集群大规模迁移实践-李猛-南京-20250618

内容概要:本文详细介绍了ES(Elasticsearch)日志集群的大规模迁移实践,由Elastic Stack实战专家李猛分享。迁移背景涵盖现有集群架构、日志规模、性能需求及新集群架构特点。针对迁移方案,文中对比了Reindex、Backup&Restore、Logstash/三方工具以及CCR四种方法,最终确定以CCR为主、Reindex为辅的组合策略。迁移实践中,重点讲述了CCR配置、任务脚本编写与执行的具体步骤。同时,针对迁移过程中遇到的新旧集群并行切换、CCR并行与索引限制、旧集群架构限制、迁移时间段限制、超大索引、数据一致性及硬件问题进行了深入剖析。最后,探讨了ES运维工具包(如数据比对脚本、CCR创建+取消工具)的应用。 适合人群:具备一定Elasticsearch使用经验,从事日志管理、运维工作的技术人员。 使用场景及目标:①了解ES日志集群大规模迁移的完整流程与关键步骤;②掌握不同迁移方案的选择依据及其优缺点;③解决迁移过程中可能遇到的技术难题;④提升ES集群运维效率与稳定性。 阅读建议:本文内容详实,技术细节丰富,在阅读时应重点关注迁移方案的选择依据、实际操作步骤以及遇到的问题和解决方案。建议读者结合自身实际情况,参考文中提供的具体案例和技术手段,逐步理解和掌握ES日志集群迁移的相关知识。

2025-06-28

腾讯云 ES AI 搜索优化实践 刘忠奇 线上 20250605

1. RAG 架构的搜索增强实践 2. 自研 v-pack 插件向量增强技术解析 * 存储降本九成:向量裁剪技术 * 准召提升手段:多算法融合排序框架

2025-06-05

ES/Ksibana 双MCP框架下的新一代AiOps实践 Luke 线上 20250521

内容概要:本文介绍了Elasticsearch和Kibana在双MCP框架下实现的新一代AIOps实践。作者Luke Azmat Ablat是AI解决方案架构师,专注于Elasticsearch在AI领域的应用,特别是在低资源语言搜索体验和复杂混合搜索方面的优化。文中强调了MCP(模型上下文协议)的重要性,它由Anthropic提出并被广泛认可,旨在统一AI模型与外部数据源的交互方式。通过MCP协议,Elasticsearch和Kibana能更好地结合LLM能力,实现分钟级别的故障排查和根因分析,极大提升了AIOps效率。具体应用包括实时搜索、可视化管理和智能交互,涵盖从集群状态检查到异常区域深度调查等多个场景。; 适合人群:对AI运维(AIOps)、Elasticsearch和Kibana有研究兴趣或工作需求的技术人员,尤其是从事IT运维、数据管理和AI开发的专业人士。; 使用场景及目标:①利用MCP协议整合Elasticsearch和Kibana,实现高效的自动化根因分析;②通过自然语言交互简化集群管理和数据分析流程;③优化数据洞察,提高故障排查速度,从数小时甚至数天缩短到几分钟。; 其他说明:本文不仅探讨了技术理论,还提供了实战演示,展示了如何在现有环境中部署和使用MCP框架。未来计划包括开源大模型记忆模块和支持中英混合搜索等功能,进一步扩展Elasticsearch的应用范围。

2025-05-22

03-Elasticsearch跨境电商搜索优化实践 欧阳楚才 杭州 20250419

内容概要:本文由欧阳楚才分享,主要介绍了Elasticsearch在跨境电商搜索优化中的实践。文章首先指出跨境电商搜索面临的问题,如搜索词意图丰富、分词准确性、搜索关键词多义等,随后详细阐述了搜索业务架构,包括意图识别、类目预测、实体识别、同义词扩展、分词处理、尺寸识别、停用词过滤、词干提取等方面的技术细节。接着,文章探讨了搜索召回和排序机制,强调了通过字段加权计算相关性评分和点击率预测CTR模型来优化搜索结果的重要性。最后,还涉及了性能压测、商品属性字段聚合优化以及数据埋点等内容,旨在提升搜索服务的整体性能和用户体验。; 适合人群:从事跨境电商、搜索引擎优化、Elasticsearch技术应用的相关从业人员,尤其是有一定Elasticsearch基础的研发人员和技术管理者。; 使用场景及目标:①理解和解决跨境电商搜索中的常见问题,如搜索词意图识别、多语种分词、关键词多义性等;②掌握通过类目预测、实体识别、同义词扩展等方法提高搜索召回率和准确性的技术手段;③学习如何通过性能压测、数据埋点等手段优化搜索服务的性能和用户体验。; 其他说明:本文提供了丰富的实际案例和技术细节,建议读者结合自身业务场景进行实践,并参考文中提供的具体配置和优化方法,不断调整和改进搜索系统。

2025-04-19

01-AI 驱动 - 搜索的未来 刘晓国 杭州 20250419

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-04-19

02-阿里云Elasticsearch向量引擎百亿级数据优化实践 魏子珺 杭州 20250419

深度解析阿里云 Elasticsearch 向量引擎从8.0到8.x最新版本的技术跃迁,揭秘 Elasticsearch 向量引擎如何处理百亿级向量数据。分享向量引擎与文本搜索、AI 模型的无缝整合方案,探讨如何通过混合检索能力优化 RAG(检索增强生成)、Deep Search 等企业级场景。

2025-04-19

05-ES AI Assistant集成 DeepSeek QwQ,搭建智能运维助手 槐新 杭州 20250419与应用场景演示

内容概要:本文详细介绍了如何通过集成DeepSeek/QwQ模型搭建基于Elasticsearch(ES)的智能运维助手,以提升运维效率和问题解决能力。文章首先阐述了大语言模型(LLM)在知识问答场景中的局限性,如幻觉问题、知识受限等,进而引出检索增强生成(RAG)技术的优势,包括实时更新知识库、可解释性和减少幻觉。接着,文章介绍了新一代AI搜索应用——Agentic RAG,它通过引入人工智能代理,实现了多源协同检索、多轮交互和复杂任务处理的能力。此外,文章还展示了Elasticsearch的功能及其与DeepSeek/QwQ的深度集成,具体包括实时状态诊断、动态生成可视化数据看板、智能查询构建等。最后,通过几个实际应用场景的演示,如集群运维、可视化分析和DSL查询生成,展示了该智能运维助手的强大功能。 适合人群:具有运维经验的IT工程师、系统管理员以及对Elasticsearch和AI技术感兴趣的开发者。 使用场景及目标:①通过自然语言指令自动构建精准查询语句,实现查询构建-执行-优化的全流程自动化;②辅助集群运维和索引管理,提供智能建议,降低技术门槛;③进行可视化分析,帮助用户快速理解日志信息,生成相关图表;④支持多模态向量搜索,提升搜索精度和开发体验。 阅读建议:由于本文涉及大量技术细节和实际操作步骤,建议读者在阅读时结合实际案例进行理解和实践,尤其是对Elasticsearch和AI技术的应用有初步了解的读者,可以通过动手实验加深理解。

2025-04-19

04-Higress x Elasticsearch构建更智能的AI网关 程治玮 20250419

介绍 Higress AI 网关在推理服务场景下提供的多模型适配、故障切换、多租户管理、Token 限流与内容安全等核心能力,并深度集成 Elasticsearch 实现语义化缓存、RAG 搜索和可观测等高级功能。

2025-04-19

00-Elastic Pioneer-项目

内容概要:Elastic China Pioneer Program(先锋者计划)是Elastic中国发起的大使招募计划,旨在汇聚生态伙伴、用户及开发者力量,共同推广Elastic搜索技术。该计划明确了Pioneer的使命为传播Elastic技术魅力、分享应用心得,助力Elastic在中国市场的发展。Pioneer可通过发表演讲、撰写文章、录制视频、GitHub代码贡献、提供解决方案等方式获取积分,不同形式的贡献对应不同分值。活动设有严格的审核机制,确保公平公正,参与者可凭作品质量获得相应积分,有广泛影响力的贡献还能得到额外奖励。此外,该计划还设立了月度和年度榜单机制,月度榜单每月评选一次,年度榜单前三名可获直通Elastic ON新加坡站等丰厚奖励,所有奖励均与积分挂钩,鼓励持续贡献。 适合人群:热爱Elastic技术,愿意为其发声的生态伙伴、广大用户及社区开发者。 使用场景及目标:①通过多种方式宣传推广Elastic技术,扩大其在中国市场的影响力;②激励更多人参与到Elastic的技术生态建设中来,推动Elastic技术的发展。 其他说明:活动期间,Elastic官方有权对提交内容进行二次加工、修改、传播,优秀内容将通过官方渠道推广分享。

2025-04-19

Elasticsearch 8.17 Logsdb:企业降本增效利器 程地华 线上 20250416

内容概要:本文介绍了Elasticsearch 8.17 LogsDB作为企业降本增效的利器,主要针对传统日志存储面临的高昂成本和低效查询性能的问题。Elasticsearch 8.17 LogsDB通过多种优化技术,如合成源优化、压缩算法优化、索引排序优化、块编解码器优化、压缩和分段合并优化,显著降低了日志数据的存储需求,提升了查询效率。具体而言,合成源优化去除了不必要的行存,压缩算法优化实现了快速无损压缩,索引排序优化提高了存储效率,块编解码器优化针对不同字段提供不同的编码策略,压缩优化了词典,分段合并优化则通过删除冗余信息节省空间。性能对比显示,LogsDB在系统日志、应用程序日志和审计日志三种类型的日志存储优化效果显著。应用场景包括大规模日志存储、企业级日志管理和实时日志监控与分析。 适合人群:从事日志管理和数据分析的技术人员,尤其是关注日志存储成本和查询性能的企业IT管理者和技术团队。 使用场景及目标:①大规模日志存储:显著减少存储空间,降低存储成本;②企业级日志管理:提高存储效率,优化查询性能,简化管理流程;③实时日志监控与分析:高效处理和查询海量日志数据,快速发现和解决问题。 其他说明:本文详细介绍了如何创建索引生命周期、索引模板、数据流以及配置写入等具体操作步骤,为企业提供了完整的实施指南。通过这些优化措施,企业可以在整个索引生命周期中持续受益,进一步降低总拥有成本。

2025-04-17

04 - 腾讯云 ES AI 搜索优化实践 - 刘忠奇 武汉 20250329

内容概要:本文详细介绍了腾讯云Elasticsearch(ES)在AI搜索优化方面的实践成果。首先探讨了一站式RAG(检索增强生成)架构的应用案例,如微信读书‘AI问书’和敦煌数字藏经阁,展示了其在智能检索、问答系统等方面的能力。接着阐述了向量裁剪技术,通过多种索引方式(无向量索引、Flat向量索引、HNSW向量索引等)显著降低了存储成本,最高可达90%。最后介绍了多算法融合排序框架,包括rank_fusion、score_fusion和rerank_fusion三种方法,提升了搜索结果的准确性和召回率。此外,还涉及了嵌入推理、对话推理等功能模块,进一步增强了系统的灵活性和实用性。 适合人群:从事搜索引擎开发的技术人员,尤其是对Elasticsearch及其AI增强功能感兴趣的研究者和从业者。 使用场景及目标:①希望通过RAG架构实现高效智能检索和问答系统的开发人员;②需要降低向量存储成本的数据科学家和技术经理;③希望提高搜索结果质量和用户体验的产品经理和运营人员。 其他说明:文中提到的具体技术细节和应用场景有助于读者深入了解腾讯云ES在AI搜索领域的最新进展和技术优势。

2025-03-31

02 - ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)在绿盟企业安全平台中的大规模应用及其优化路径。首先概述了安全大数据分析的典型场景和所面临的技术挑战,如PB级别的数据量、Ad-hoc查询性能、集群稳定性和运维成本等问题。接着阐述了ES集群的具体应用场景,包括日志查询、仪表盘展示和事件告警等功能模块。针对这些问题,文中提出了多项优化措施,如多实例部署、角色分离、master节点升级、_id移除到堆外、引入混合存储等方法,有效提升了系统的稳定性和性能。最后还讨论了写入性能方面的改进,如避免多盘陷阱、采用本地写入方式、实施预判引擎以及调整动态mapping设置等。 适合人群:从事信息安全领域的技术人员,尤其是负责大型分布式系统架构设计和技术选型的专业人士。 使用场景及目标:适用于需要处理海量日志数据的企业级安全平台建设,旨在提高数据分析效率、增强系统可靠性和降低运营维护难度。 其他说明:本文不仅提供了理论指导,还分享了许多实际案例和具体实施方案,对于希望深入了解ES集群管理和调优的读者来说非常有价值。

2025-03-31

01 - AI 驱动 - 搜索的未来 -刘晓国 武汉 20250329

内容概要:本文由Elastic中国社区首席布道师刘晓国主讲,探讨了AI驱动的搜索技术的发展方向,特别是Elasticsearch在向量搜索和语义搜索方面的创新。文章详细介绍了向量搜索的基本概念、实现方法以及具体应用场景,如图片相似度搜索、混合搜索、语义搜索等。此外,还讨论了Elasticsearch在硬件加速、模型管理、推理API等方面的最新进展,以及如何通过Retrieval Augmented Generation (RAG) 技术提升搜索质量和安全性。 适合人群:对AI驱动的搜索技术感兴趣的开发者、数据科学家、企业IT决策者。 使用场景及目标:适用于需要高效、精准搜索的企业级应用,尤其是涉及大规模非结构化数据处理的场景。目标是帮助用户更好地理解和应用最新的搜索技术,提升业务效率和用户体验。 其他说明:文中提供了丰富的技术细节和实例,包括向量相似度计算、模型训练与部署、搜索架构优化等方面的内容。同时,还提到了Elasticsearch与其他AI工具和服务的集成,如OpenAI的CLIP模型、HuggingFace等。

2025-03-31

05 -Elasticsearch 存算分离架构在小米的应用实践 - 周明裕 郑钧元 武汉 20250329

介绍了 ElasticSearch 服务存算分离架构在小米的技术演进过程和实现思路,日志场景可实现单集群 50% 成本优化,提升整体技术性价比

2025-03-31

03 - Agentic RAG 构建之路 - 李捷 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)作为构建Agentic RAG(检索增强生成)系统的理想引擎的原因。首先探讨了传统RAG系统的局限性,然后重点阐述了ES如何通过其强大的查询规划、工具使用、动态查询规划以及数据超融合等功能克服这些问题。文中还展示了具体的案例研究,如财务风险报告、生产线良品率分析、市场销售情况评估等,强调了ES在处理复杂查询、多源数据融合和实时数据分析方面的卓越表现。此外,文章讨论了ES提供的多种查询语言和支持的广泛功能,如多模态嵌入、GPU加速、自动分块策略等,进一步证明了它在构建高效、灵活的Agentic RAG系统中的独特地位。 适合人群:对构建高级检索增强生成系统感兴趣的开发者和技术决策者,尤其是那些希望利用Elasticsearch提升数据处理能力和智能化水平的专业人士。 使用场景及目标:适用于需要处理大量异构数据的企业,旨在提高数据检索效率、增强分析能力、优化业务流程。具体应用场景包括但不限于财务风险管理、生产质量监控、市场营销分析等。 其他说明:文章不仅深入剖析了技术细节,还提供了实际操作指南和最佳实践建议,帮助读者更好地理解和应用

2025-03-31

01-AI 驱动 - 搜索的未来 - 刘晓国 上海 20250222

内容概要:本文探讨了AI驱动的未来搜索技术,特别是通过Elasticsearch实现的向量搜索和语义搜索。首先介绍了为何需要向量搜索及其基本概念,随后深入讲解了Elasticsearch中的向量搜索实现细节、向量相似度测量方法,以及如何整合图像和文本搜索。接着,描述了向量和经典搜索混合的方法,强调了RAG(检索增强生成)的作用。最后,文章讨论了Elasticsearch在硬件加速方面的进步及未来的发展方向,如稀疏向量搜索和学习排序等新技术的应用。 适合人群:熟悉搜索引擎和机器学习的基础知识的技术爱好者和专业工程师。 使用场景及目标:帮助开发者理解和掌握最新的AI驱动搜索技术,包括搭建高效能的语义和向量搜索系统,以及优化搜索结果的相关性和速度。同时,探索将这些先进技术应用于实际项目中解决具体业务问题的可能性。 其他说明:文中提供了许多具体的示例,如基于变压器模型的文字向量表示,图片相似度查找实例,并展示了使用Elastic Stack实现复杂混合搜索的实际操作。还涉及到一些高级特性,如KNN查询、ELSER模型训练、以及Retriever API的设计原理。

2025-03-03

04-Elasticsearch 在 AI 驱动下的检索新特性 - 槐新 上海 20250222

内容概要:本文详细介绍了阿里云 Elasticsearch 在 AI 技术推动下所发展的新型搜索能力。涵盖了语义搜索、多模态搜索、RAG(检索增强生成)、AI 助理等方面的新特性和技术进步。特别是在向量搜索方面,阿里云 ES 向量增强版能够高效处理结构化和非结构化数据,将其转化为向量形式,极大提升了搜索效率和精度。此外,还探讨了性能瓶颈及解决方法,以及弹性架构、数据安全性等重要特点,展现了该产品的高性能、低成本和技术灵活性。 适合人群:对于希望深入了解现代搜索技术和向量索引的技术开发者、工程师、研究学者及有兴趣了解前沿科技的应用程序管理员。 使用场景及目标:适用于需要处理大量文本、图像、音频视频等多媒体资料的企业和个人用户。旨在提高搜索系统的智能化水平,帮助企业更快更准地获取所需信息,并优化用户体验。例如,在客服、电商、医疗等领域实施多模态检索和服务机器人等功能,可显著增强业务竞争力。 其他说明:文中提到多个具体案例和技术细节,如性能测试、硬件加速指令的应用、模型量化的优势等,强调了技术的实际应用价值和发展趋势。同时展示了与第三方平台的良好协作,提供了丰富的接口和支持,方便用户的集成与

2025-03-03

03-基于 ES 与 LLM 技术构建 B站大数据运维智能体实践 - 张勋祥 上海 20250222

内容概要:本文由哔哩哔哩资深开发工程师张勋祥讲解了基于Elasticsearch(ES)和大型语言模型(LLM)技术,为解决B站庞大的运维挑战所采取的策略。首先,介绍了当前面临的业务现状,即大量问题咨询以及多样化计算引擎带来的复杂运维问题,这些问题使得自动化运维变得尤为迫切。其次,在详细的场景分析基础上提出并实施了一套智能运维系统。该系统依托于私域知识库来解答咨询和支持故障诊断等功能,涵盖Flink、Spark等多个主流组件,显著提升了处理效率与准确性。此外,针对关键的技术难题如查询改写优化等问题,文中分享了一系列有效的解决手段。最后展示了具体应用场景,如对Flink的作业断流现象进行分析。同时对未来发展规划进行了探讨,强调将继续推进运维智能化水平。 适用人群:适用于有兴趣于大数据架构下智能运维解决方案的研发人员和技术经理,特别是从事Flink、Spark等领域工作的人群。 使用场景及目标:本研究旨在为面临大规模分布式系统的团队提供有价值的见解和技术指导,帮助他们更好地理解和应用智能运维方法论来应对复杂场景中的各类运维挑战。 其他说明:文章提供了丰富的图表及案例分析,便于读者直观地掌握

2025-03-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除