2301_82040283的博客

数据闪回」基于 RDB 和 AOF 的混合持久化方式，使得较少存储空间就能保留完整的数据备份，并为 AOF 新增时间戳，方便快速找到指定时间点的文件。随后，系统依据原集群的分片规则和用户指定的时间点，精准定位对应的 RDB 文件与 AOF 文件，将这两类文件加载至 Redis 内存，完成整个数据恢复操作，使 Redis 集群状态精准还原至用户指定的时间节点。原生 Redis 的 AOF 文件会记录全部的写命令，但是并没有给这些命令配置时间信息，导致系统无法快速找到指定时间点的文件，使得数据恢复效率受限。

缓存数据库核心挑战还是在性能、成本、高可用方面，在过去一年里面，我们核心优化了这些方面，性能上支持批量加载，高用上支持异地多活的能力，成本上支持冷热分离，通过把相对较冷的数据自动迁移到 SSD 上显著降低成本。百度智能云提供一站式云原生数据底座，覆盖完整的数据库的关系型、NoSQL、工具、大数据的开发工具，离线计算，在线中间等全套产品和服务。doris 是百度开源出去的数据仓库。百度智能云的云原生数据底座也在持续演进，给客户提供更快、更强、更智能、更易用的能力，使能大模型业务，满足百行千业客户的诉求。

在异构计算方面，百度智能云提供支持多种异构芯片的计算产品，包括国际主流的 L20/H20 等 GPU，以及自研加速芯片等计算产品，面向推理和训练场景全面优化性能，最高配备 3.2T 的 RDMA 高速网络，实现算力和网络的最佳配比，形成形态丰富的异构算力矩阵。以容器产品为基础，全面加强云原生应用产品的企业级产品特性，简化运维复杂度，做到性能和稳定性的提升，覆盖应用部署、应用可观测和应用可运维的应用全生命周期，释放开发者生产力。基于新一代目录树架构技术，进一步提升了云原生数据湖的性能和大数据分析的产品功能。

本文整理自第 15 届中国数据库技术大会 DTCC 2024 演讲《百度智能云向量数据库创新和应用实践分享》在 IT 行业，数据库有超过 70 年的历史了。对于快速发展的 IT 行业来说，一个超过 70 年历史的技术，感觉像恐龙一样，非常稀有和少见。但是数据库之所以有这么长的生命力，核心是在不停的变更和创新。简单回顾一下数据库的历史，在过去的 70 年里面，数据库一直跟着底层基础设施和上层业务的变化的潮流，一直在变化。

与传统 MySQL 单线程相比，在 32 线程并行执行下，GaiaDB 单表复杂查询性能最高提升 14 倍，平均提升 8+ 倍。

在我们日常的工作和生活中，经常会遇到需要快速获取和管理大量信息的情况。无论是解答客户的问题，还是整理公司内部的资料，一个高效的知识库系统都能帮我们省下大量时间和精力。为了帮助大家快速构建 RAG 应用，我们之前发布了一个的文章，意在 Step By Step 打通搭建的壁垒，但是广大的用户反馈还是比较复杂，至少需要 9 步才能搭建，这对于很多人来说确实是个不小的挑战。为了让更多人能够轻松构建自己的知识库，我们开发了一个全新的 RAGFlow SDK。

百度智能云向量数据库 VectorDB 是一款纯自研高性能、高性价比、生态丰富且即开即用的向量数据库服务，提供高效的向量索引和相似度查询服务。为了让用户更好地了解 VectorDB 的性能表现，VectorDB 性能白皮书详细描述了性能测试环境、测试方法和测试结果。本章节说明性能测试所需的环境与数据集。

例如用户之前使用集中式的 MySQL 数据库，随着业务增长需要选择扩展性更好的数据库产品，当前用户一般有两种技术路线，一种是分布式数据库，例如 TiDB、DRDS 等，这类数据虽然解决了大容量、高吞吐的扩展性问题，但一般在兼容性、延迟等方面有天然的短板；回顾 MySQL 的发展和大流行， MySQL 之所以能成为广泛使用的数据库，主要原因在于其灵活的部署能力、稳定的性能、开源生态，以及被 Oracle 收购后，为其提供了丰富的企业级的能力，这使 MySQL 成为用户信赖的数据库。

智能领航员基于百度文心大模型构建，内置了各类高质量的数据库知识，包括云数据库帮助文档、数据库权威官方文档、百度多年来内部积累的数据库运维知识库等，能够覆盖云上 GaiaDB、MySQL、Redis 等数据库产品的各类使用场景。即使得到了客服的全力帮助，我们还需要扛住业务催促的压力，沉下心来详细地阅读文档内容，或者收集更多的相关文档进行学习，最终才能找到真正的答案。大家可以进入数据库智能驾驶舱 DBSC 的产品页面，在右侧悬浮窗中点击智能领航员的图标，打开聊天对话框，提交问题收获答案。

RAG是一种先进的自然语言处理方法，它结合了信息检索和文本生成技术，用于提高问答系统、聊天机器人等应用的性能。

近日，百度智能云的分布式关系型数据库软件V3.0 与龙芯中科技术股份有限公司的龙芯 3C5000L/3C5000 处理器平台完成兼容性测试，功能与稳定性良好，获得了龙架构兼容互认证证书。

BTS 可用于丰富的场景，比如横向业务场景（分布式存储、结构化、聚合、高性能检索）、纵向行业场景（互联网、广告、feed、物联网、大数据、时序）以及一体化解决方案（大数据分析生态，监控）等，支撑业务创新。BTS 目前支持超万亿的日均访问量，场景上覆盖了宽表、时序、大数据的处理和分析场景，覆盖了物联网、AI、feed 流、广告、健康、搜索、web 应用、自动驾驶等诸多方向。BTS 具备了完善的高可用的能力，比如多层次的容错和调度设计、多层弹性多租户隔离机制、端到端数据校验和实时监控和完善的运维。

为了提供更加丰富和准确的答案，我们采用了一种搜索和推荐系统的方法，并结合了大型模型的推理和总结能力。为了确保准确性和效率，我们选择了第 2 种和第 3 种方式相结合的方案，通过向量数据库将知识外挂作为大模型记忆体，使用 LangChain 作为基础开发框架来构建知识库问答系统，最终依靠 Prompt 工程和大模型进行交互。传统的运维知识库系统主要采用固化的规则和策略来记录管理操作和维护的知识，这些系统的知识检索方式主要基于关键字搜索和预定义的标签或分类，用户需要具备一定的专业知识才能有效地利用这些系统。

即将数据通过 Sqoop、Spark 等工具，几乎不做 join 或 group 等复杂转化，直接抽取到数据仓库里的贴源层（ODS），再在数据仓库中通过 SQL/H-SQL，将数据从贴源层（ODS）加载到数据明细层（DWD），最终汇总到数据汇总层（DWS）和数据集市（DM）。DTS 的架构天然支持流批一体，源端无论是有界数据（数据库快照，指定区间的增量）还是无界数据（持续的数据库流量），都会通过数据切片的方式切分为无数个 Micro-Slice，通过流水线作业最终同步到目标端的仓、湖或流式计算框架。

接下来，我来分享百度智能云在金融方面的一些典型案例。首先是百信银行。它的特点是完全去 O，是一家完全没有 Oracle 的银行。全行 200+ 业务系统，无论是核心账务系统还是周边系统，几乎全部是基于 GaiaDB-X 数据库来构建的，至今已经平稳运行五年。按数据库节点数计算，百信银行目前的数据库国产化率达到了 99.93%，遥遥领先于行业平均水平。

在数据库行业我们看到至少两个方向，一个是 AI4DB，其中包括阿里的 DAS、百度的 DSC 等，主要是通过 AI 的能力去改进原有数据库的自动化能力。在成本下降的同时，PegaDB 也兼容了 Redis 丰富的数据类型和命令，让用户做到无缝迁移，兼顾了用户体验和性能优势。AWS Aurora 提出来的 The log is the database 的理念，通过把大量的日志操作放到后台异步处理，实现了存储独立扩展和存储计算分离，从而解决了 MySQL 数据库单库的数据量不能太大的最大痛点。

GaiaDB 的存储节点支持数据页的回放功能，可以动态回放至任意目标版本后再返回，在之前的版本里，假如由于异步的因素还没有获取到这部分增量日志，存储节点也会启用优先拉取的策略实时拉取一次日志后再回放，以此来提供较好的时效性。所以在未来，这两个路线会不断融合。对于跨地域高可用来说，由于同样使用了异步并行加速的物理同步，及时在长距离传输上，吞吐依然可以追齐主集群，不会成为吞吐瓶颈，在计入网络延迟的情况下，国内可以实现数十毫秒的同步延迟，这是因为跨地域同样可以使用异步并行写加速，自动适应延迟和吞吐之间的关系。