Quorum Journal Manager原理

最新推荐文章于 2025-05-09 20:18:03 发布
最新推荐文章于 2025-05-09 20:18:03 发布
阅读量1.7k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 分布式与大数据系统 分布式一致性
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chdhust/article/details/79521157
Quorum Journal Manager原理

    在一个典型的HA集群，两个独立的物理节点配置为NameNodes。在任何时间点，其中之一NameNodes是处于Active状态，另一种是在Standby状态。 Active NameNode负责所有的客户端的操作，而Standby NameNode尽用来保存好足够多的状态，以提供快速的故障恢复能力。

    为了保证Active NN与Standby NN节点状态同步，即元数据保持一致。除了DataNode需要向两个NN发送block位置信息外，还构建了一组独立的守护进程”JournalNodes”,用来FsEdits信息。当Active NN执行任何有关命名空间的修改，它需要持久化到一半以上的JournalNodes上。而Standby NN负责观察JNs的变化，读取从Active NN发送过来的FsEdits信息，并更新其内部的命名空间。一旦ActiveNN遇到错误，Standby NN需要保证从JNs中读出了全部的FsEdits,然后切换成Active状态。


    如下图所示：

    

    预防脑裂现象”Brain Split”。HA需要保证在任何一个时间点，最多只有一个NameNode处于Active状态。否则的话，在两个NN的NameSpace下的状态会出现分歧，从而引起数据丢失、或者其它不可预见的错误。为了预防该问题的发送，在任何时间点内JNs仅允许一个NN向其写FsEdits信息，保证故障迁移的正常执行，通过互斥机制来保证。



HDFS HA 之 Quorum Journal Manager
qwerty1372431588的博客
01-29 198
通过Secondary namenode 作为备节点，然后冷备namenode数据，为Namenode分担部分压力，主要执行Checkpoint工作。在这种架构体系下，Namenode以单点的形式运行，一旦系统集群出现故障，可用性是致命的，目前基本不使用了。
HDFS HA 之 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）
qwerty1372431588的博客
01-15 570
在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。这个状态由两部分组成：EditLogs和FsImage。检查点的作用检查点的创建。
hadoop用Quorum Journal Manager(QJM)实现高可用
08-11
NULL 博文链接：https://kabike.iteye.com/blog/2224252
HDFS HA-Quorum Journal Manager
beyondlpf的专栏
07-06 212
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool 1、背景 HDFS HA，即NameNode单点故障问题，一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中，介绍了HDFS的Federeation概况、配置与部署的情况，以及有关HA的相关概...
Quorum协议原理与应用详解
最新发布
技术人集结地
05-09 1342
Quorum协议是一种分布式一致性协议，通过读写投票机制在一致性与可用性之间进行权衡，实现数据冗余和最终一致性。其核心规则为写成功副本数（W）加读需副本数（R）大于总副本数（N），确保读写操作有重叠部分，从而保证数据最新性。相较于WARO机制，Quorum允许部分写入失败，提升了系统容错性。协议通过版本号机制判断数据新旧，确保一致性。Quorum广泛应用于HDFS高可用、以太坊企业版和分布式数据库等场景，具有灵活性和容错性优势，但需结合其他机制（如Paxos、Raft）提升一致性。其核心价值在于适应大规模分
hadoop HA----Quorum Journal 设计
喔瓣泥的专栏
11-17 3337
本文是hadoop HA 方案Quorum Journal设计的翻译。原文参考这个链接中的附件：https://issues.apache.org/jira/browse/HDFS-3077 1 概述 1.1 背景   HDFS-1623和相关的JIRAs加入了对HDFS NameNode高可用性的支持，但是依赖一个共享存储目录，在里面存储共享的edit log。这个共享存储
Quorum Journal Manager QJM实现高可用HA文件同步原理
青冬的博客
05-26 1202
序 since： 2021年5月23日 16:13 auth： Hadi 参考： https://blog.csdn.net/breakout_alex/article/details/88171114 https://blog.csdn.net/weixin_42782897/article/details/89335674 https://blog.csdn.net/zuotengseven/article/details/108216736 前言 上次我们讲了Hadoop 高可用...
Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（一）
skyWalker_ONLY
10-11 2433
在Hadoop-2.x版本之前，HDFS集群中的NameNode是单点故障的，即整个集群中只存在一个NameNode，虽然存在SecondaryNameNode，但由于二者关于命名空间的数据有可能不一致，比如NameNode在两次检查点间隔之间出现问题，这势必会导致部分数据的丢失。如果NameNode所在的主机或者namenode进程不可用，整个集群直到NameNode重启或者转移到Seconda
HDFS高可用 －Quorum Journal Manager
strongyoung的专栏
04-05 1297
High Availibility 高可用要实现Hadoop的高可用，有两种方式： - Quorum Journal Manager - Network File SystemUsing Quorum Journal Manager对于这种方式，根据对官方文档的理解，我画了个图，如下： 图上表述了一个集群大概的样子，有3个DataNode, 有两个NameNode，一个是Active
使用QJM构建HDFS HA架构(2.2+)
似水流年
01-29 934
【使用QJM构建HDFS HA架构(2.2+)】 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。 有两种方式会影响集群的整体可用性：
HDFS之Qurom Journal Manager（QJM）
小小北漂
02-08 412
一、背景与架构1.前言1.1背景    自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年，已经相对稳定成熟。虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存储节点...
Hadoop2.5.1 HDFS High Availability With QJM（Quorum Journal Manager）
yameing在努力学习中... ...
09-30 1955
http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html （部分太简单一看就懂的，或看不懂的不翻译） 一、 目的 1. 介绍HDFS HA特性概况  2. 介绍如何使用QJM配置和管理高可用HDFS集群  二、 背景 Hadoop2.0之前，
Hadoop3.2.0 HDFS HA ( Quorum Journal Manager )
张伯毅的专栏
02-19 7738
目的 注意：使用Quorum Journal Manager或常规共享存储 背景 架构 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 负载均衡器设置 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群...
HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制
小昌昌的博客
09-03 6025
目录 前言 1.NameNode的启动和对edits和QJM相关配置文件的解析 2.使用FSImage和FSEditLog类对image和edit log文件进行读写和管理 3.EditsDoubleBuffer 双缓存，让flush和write同时进行，互不干扰 4.AsyncLoggerSetl类代理对QJM集群的读写 6.QuorumCall封装了对基于paxos算法的QJM集群的异...
HDFS HA(Quorum Journal Manager) 架构解析
夜的博客
04-06 575
HDFS 集群介绍 hdfs采用master-slave架构。集群中主要由NameNode、DataNode、Secondary NameNode、fsimage、editslog等5个部分组成。 NameNode：存储hdfs中的元数据信息（如：命名空间、副本数、Blok块分布、文件名，文件大小，文件位置等），接收DataNode的心跳包和块报告，管理所有的DataN...
HDFS HA与QJM(Quorum Journal Manager)介绍及官网内容整理
weixin_30868855的博客
03-12 273
问题导读 1.HDFS HA与QJM解决了什么问题？ 2.HDFS HA与QJM区别是什么？ 3.在HA（两个namenode）架构下，如何访问hdfs文件？ 【使用QJM构建HDFS HA架构(2.2+)】 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一...
HDFS之Quorum Journal Manager原理
weixin_42487706的博客
04-14 268
https://blog.csdn.net/chdhust/article/details/79521157
Quorum工作原理
KK下山去买菜
03-23 2560
概述 Quorum是摩根大通推出的联盟链，它是一种基于以太坊的分布式账本协议，可以称之为企业以太坊。 Quorum是以太坊go-ethereum的分支，并对go-ethereum进行了修改。 相比以太坊主要增强的功能： 隐私 -私有交易和私有智能合约 新的共识机制-非POW/POS,基于raft的共识和Istanbul BFT 网络、节点权限许可 更高的性能 逻辑架构 主要的组件: Quo...
HDFS之Qurom Journal Manager（QJM）实现机制分析
qi20088的专栏
09-09 154
http://www.tuicool.com/articles/eIBB3a
namenode的高可用是怎么实现
02-27
### Hadoop NameNode 高可用性实现方法 为了提高 Hadoop 文件系统的可靠性，HDFS 提供了多种机制来确保 NameNode 的高可用性 (HA)[^3]。具体来说，在 HA 架构下有两个 NameNode 实例——一个处于活动状态(active)，另一个作为备用(standby)。当活跃节点发生故障时，备用节点能够迅速接管其职责。 #### 使用 Quorum Journal Manager(QJM) 一种常见的配置方案是通过Quorum Journal Manager 来同步元数据编辑日志。在这种模式下： - 所有 DataNodes 同时向两个 NameNodes 报告心跳并上传块报告； - 活动的 NameNode 负责处理所有的客户端请求，并将更改记录到共享的日志存储中； - 备用 NameNode 不断读取这些日志条目以保持与活动实例的一致性；一旦检测到主节点失败，则自动切换角色成为新的领导者[^1]。 ```xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- Other properties --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/path/to/journal/node/directory</value> </property> ``` #### 客户端 Failover 代理类设置 为了让应用程序能够在不同名称节点之间无缝迁移，还需要指定 `dfs.client.failover.proxy.provider` 参数指向合适的 Java 类，该类定义了如何定位当前正在运行的服务提供者[^2]。 ```properties dfs.client.failover.proxy.provider.mycluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值