YARN的产生背景和架构剖析

Xlucas

于 2022-07-06 08:53:17 发布

阅读量306

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：架构 hadoop 大数据 YARN

本文链接：https://blog.csdn.net/paicMis/article/details/125632092

YARN为解决Hadoop1.0中的单点故障、资源管理和任务执行耦合、低资源利用率等问题而诞生。它将资源管理和作业调度分离，支持多种计算框架如Spark、Flink。YARN采用主从架构，ResourceManager负责全局资源调度，NodeManager管理节点资源，通过Zookeeper实现高可用。YARN的资源抽象更合理，提高了资源利用率，降低了JobTracker的压力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop1存在的问题
1、单点故障，可靠性低： JobTracker采用了master/slave结构，是集群事务的集中处理点，存在单点故障
2、单点瓶颈，扩展性差： 需要完成的任务太多，JobTracker兼顾资源管理和作业控制跟踪功能跟踪任务，启动失败或者迟缓的任务，记录任务的执行状态，维护计数器，压力大，成为系统瓶颈
3、资源管理和任务执行强耦合： 在JobTracker端，用Map/Reduce Task作为资源的表示过于简单，没有考虑到CPU、内存等资源情况，当把两个需要消耗大内的Task调度到一起，很容易出现OOM。
4、资源利用率低： 基于槽位的资源分配模型，槽位是一种粗粒度的资源划分单位，通常一个任务不会用完一个槽位的资源，hadoop1把资源强制划分为Map/Reduce两种Slot，当只有maptask时，Reduce slot不能用，当只有Reduce Task时，Map Slot不能用，容易造成资源利用不足
5、不支持多种分布式计算框架

Hadoop YARN架构演进

从Hadoop-2.x开始，Hadoop的架构发生了变化：将hadoop1的MapReduce集群一分为二 MapReduce和YARN