Hadoop五大过程举例（以单词统计为例）

最新推荐文章于 2024-11-01 21:06:18 发布
最新推荐文章于 2024-11-01 21:06:18 发布
阅读量227 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengyu_lc/article/details/116143420
本文以单词统计为例，详细介绍了Hadoop的五大过程。包括输入阶段对文件分片并转换为键值对，Map阶段拆分数据、溢写和合并，Reduce阶段获取数据、合并排序、分组和聚合，最后输出统计结果，还提及排序方法的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop五大过程举例（以单词统计为例）

一、Input
输入：

File1：
Hadoop flink Hadoop
Hbase spark flink
File2：
hue hive hive spark spark
hadoop spark spark hbase
1、对文件进行分片（文件大小默认128M），以下假设分片为两片
2、转换为key value形式
Split1：
Key value
0 Hadoop Flink Hadoop
20 Hbase Spark Flink

Split2：
Key value
1 Hue Hive Hive Spark Spark
26 Hadoop Spark Spark Hbase

二、Map
 Map
根据分片的数量启动队相应的maptask数量，每个maptask调用对应的map方法。
将输入的文件按照中的value进行拆分，将每个字母作为key，每个value记为1。
MAPTASK1:
Hadoop 1
Flink 1
Hadoop 1
Hbase 1
Spark 1
Flink 1

MAPTASK2:
Hue 1
Hive 1
Hive 1
Spark 1
Spark 1
Hadoop 1
Spark 1
Spark 1
Hbase 1

 Mapshuffle：

 Spill过程（溢写）：将内存中的数据写入磁盘变成文件：
1、 每个maptask会将自己的处理结果放入一个环形的内存缓冲区中（100M）
2、 当缓冲区达到80%的时候会触发溢写，进行相应的排序，以及分区（本质时打标签，表明属于哪一个reduce进程），最后不满80%的也作为一个文件写入。

对内容进行分区以及排序如下：排序方法为快速排序。

MAPTASK1:filea
Hadoop 1 reduce1
Hadoop 1 reduce1
Hbase 1 reduce1
Flink 1 reduce2

MAPTASK1:fileb
Flink 1 reduce2
Spark 1 reduce2

MAPTASK2:filea
Hadoop 1 reduce1
Hbase 1 reduce1
Hive 1 reduce1
Hive 1 reduce1

MAPTASK2:fileb
Hue 1 reduce1
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2

 Merge过程（排序合并）：每个maptask会将自己生成的所有小文件进行合并，保证每个maptask只有一个大文件：

把每个maptask进行合并并且进行排序：排序方法为归并排序。
Maptask1：
Hadoop 1 reduce1
Hadoop 1 reduce1
Hbase 1 reduce1
Flink 1 reduce2
Flink 1 reduce2
Spark 1 reduce2

Maptask2：
Hadoop 1 reduce1
Hbase 1 reduce1
Hive 1 reduce1
Hive 1 reduce1
Hue 1 reduce1
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2

三、Reduce
 Reduceshuffle：
 Merge：通过Http协议每个reducetask会到每个maptask的结果中去取自己的数据。

ReduceTask1：
Maptask1：
Hadoop 1 reduce1
Hadoop 1 reduce1
Hbase 1 reduce1
Maptask2：
Hadoop 1 reduce1
Hbase 1 reduce1
Hive 1 reduce1
Hive 1 reduce1
Hue 1 reduce1
Reducetask2：
Maptask1：
Flink 1 reduce2
Flink 1 reduce2
Spark 1 reduce2
Maptask2：
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2
Spark 1 reduce2

合并过程中进行新的排序：（排序方法同样为归并排序）
Reducetask1：
Hadoop 1
Hadoop 1
Hadoop 1
Hbase 1
Hbase 1
Hive 1
Hive 1
Hue 1
Reducetask2：
Flink 1
Flink 1
Spark 1
Spark 1
Spark 1
Spark 1
Spark 1

 Group：将merge后的结果进行分组，同一组的结果放在同一个key的value中：
Reducetask1：
Hadoop 1 1 1 1
Hbase 1 1
Hive 1 1 1

Reducetask2：
Flink 1 1
Spark 1 1 1 1 1

 Reduce：将shuffle中的结果进行聚合，对一条数据调用reduce方法：

Reduce task1：
Hadoop 4
Hbase 2
Hive 3

Reduce task2：
Flink 2
Spark 5

四、output（将结果进行输出）

	文件一：part-r-00000

Hadoop 4
Hbase 2
Hive 3

文件2：part-r-00001
Flink 2
Spark 5

注：map中的两个排序以及reduce中的排序均调用排序其或者compareto方法来实现，实现的方法不同。

静听枫语
关注
hadoop学习过程（一）
lln_lln的博客
05-06 3258
内容提示： ——双系统安装（Ubuntu） ——Hadoop 伪分布式安装 ——Ubuntu下eclipse的下载安装与配置 ——eclipse中Maven插件的下载安装与配置 ——eclipse中hadoop插件的下载安装与配置 ——HDFS bash命令 ——HDFS Java API 基本编程 注：Ubuntu安装与卸载mysql,jdk,eclipse,tomcat,wor...
Hadoop详细过程
DOS的博客
08-19 622
install参考http://www.jianshu.com/p/3aebdba32363 在/usr/local/Cellar/hadoop/2.8.0/sbin目录下, 执行如下命令 ./start-dfs.sh  #启动HDFS ./start-dfs.sh #启动HDFS ./stop-dfs.sh #停止HDFS 在浏览器打开 http://localhost:
hadoop过程
Yan456jie的专栏
04-11 572
map->shuffle->reduce map->combine->partition->sort->  group->reduce job.setInputFormatClass，默认TextInputFormat，将数据切分成，传递给map map。。。 combiner 第一次排序（不知道是不是这里） setPartitionerClass， 默认Has
详解hadoop单词统计案例（word count）
weixin_44589713的博客
09-08 812
首先，进入hadoop目录下 cd hadoop-2.7.0/ 然后，在本地新建一个目录 mkdir coninput 在coninput 文件夹下新建一个文件 cd coninput/ touch wc.test 往文件里添加任意单词后并保存，返回上一级目录 新建一个HDFS目录 bin/hdfs dfs -mkdir /user/root/temp 将本地文件上传到 HDFS目录下 bin/hdfs dfs -put coninput/wc.test /user/roo.
Hadoop实现
qq_17724885的博客
03-23 2463
集群性能瓶颈 磁盘I/O性能 hadoop运行模式 单机 伪分布 完全分布 hadoop生态圈 zookeeper 分布式应用程序协调服务，同步命名服务 配置维护 flume 高可用 高可靠 分布式日志采集 聚合传输工具 hbase 面向列 分布式 数据库 在hdfs上存储 hive 使用mr引擎的 元数据概念的 数据仓库 有简单的sql查询功能 sqoop 关系型数据库和hdfs数据互导 hadoop和hadoop生态系统概念 hadoop是hadoop框架 hadoop生
Hadoop期末复习（完整版）
最新发布
m0_74922316的博客
11-01 3587
复习之前我们要有目的性，明确考什么，不考什么。对于hadoop来说，首先理论方面是跑不掉的，而且还是重中之重。例如：hdfs的读写流程，hdfs副本机制等等。其次是hadoop命令,如果学习了hadoop不了解hadoop dfs …和hdfs dfs …那么你可以重修了。最后要明确那一部分会出什么题。下面背景色或者字体改变的背过就完了。
MapReduce的核心思想与编程模型原理详解（含wordcount单词统计案例实现）
weixin_43230682的博客
08-07 2506
目录 一、MapReduce的定义 二、MapReduce的核心思想. 三、MapReduce编程模型 1. Map阶段 2. Reduce阶段 3. Map&Reduce 四、MapReduce编程指导思想（天龙八步） 1. Map阶段2个步骤 2. Shuffle阶段4个步骤 3. Reduce阶段2个步骤 五、Hadoop当中常用的数据类型 六、MapReduce编程入门之单词统计案例实现 第一步：创建maven工程并导入以下jar包 第二步：定义mapper类
五万字，57道hadoop大厂高频面试题，每一字都细心打磨，强烈建议收藏！
热门推荐
雷恩Layne
09-25 1万+
文章目录1. 简述hadoop1与hadoop2 的架构异同2. 请介绍一下hadoop的HDFS3. Hadoop的运行模式有哪些4. Hadoop生态圈的组件并做简要描述5. 解释“hadoop”和“hadoop生态系统”两个概念6. 请介绍HDFS的组成架构7. HDFS的文件块大小有什么影响8. HDFS的写（上传）数据流程9. 机架感知（副本存储节点选择策略）10. HDFS的读数据流程11. NN 和 2NN 工作机制（元数据持久化机制）12. Fsimage 和 Edits中的内容13. Na
【面试宝典】74道Hadoop高频题库整理(附答案背诵版)
tyler的博客
07-28 6113
Hadoop的序列化和反序列化是其处理数据的一个重要方面，特别是在MapReduce过程中。在Hadoop中，序列化涉及将对象转换成可以在网络上发送或写入磁盘的格式，而反序列化则是将这些格式还原回原始对象。Hadoop使用自己的序列化框架，不同于Java的原生序列化，因为它更加高效和灵活。为了在Hadoop中有效地传输自定义对象，通常需要让这些对象实现Writable接口。实现Writable接口：自定义的Bean类需要实现Writable接口，这要求定义和方法。这两个方法分别用于序列化和反序列化对象。
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 1034
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
hadoop的小例子,hadoop的小例子
10-24
小例子是自己写的，目的是让自己熟悉一下如何在集群上运行一个mapreduce项目，大家可以参考此例子学习hadoop，对入门很有帮助。小例子是自己写的，目的是让自己熟悉一下如何在集群上运行一个mapreduce项目，大家可以参考此例子学习hadoop，对入门很有帮助
Hadoop过程详解
weixin_33834137的博客
12-27 177
1. 从输入到输出的总过程 2. 过程分解 （1）split分片-->Map 由上图所示，是Hadoop的分片过程，在Hadoop中默认每个“块”是128M，从图中可以看出输入了两个文件，第一个文件比较大，占用了2+个块，第二个文件比较小（<128M）；所以，第一个文件被分为3个分片：split1~3，第二个文件单独被分为一个分片split4。 一般来说一个分片split对应一个M...
hadoop配置流程
weixin_46059439的博客
07-03 2918
第一步：重新新建一个虚拟机，命名为hadoop 第二步：添加镜像文件（ISO文件） 第三步：添加新用户、为用户添加密码 第四步：为用户添加所有权限 第五步：修改主机名为master 执行：vim /etc/sysconfig/network 第六步：配置静态IP地址 执行：vim /etc/sysconfig/network-scripts/ifcfg-eth0 执行：ifconfig 第七步：修改主机映射文件 执行：vim /etc/hosts 执行：ping master 第八步：关闭
Hadoop搭建详细过程
random_w的博客
06-07 2165
一、hadoop环境安装【1】创建hadoop用户并切换到hadoop用户[root@server1 ~]# useradd  hadoop[root@server1 ~]# id hadoopuid=500(hadoop) gid=500(hadoop) groups=500(hadoop)[root@server1 ~]# su - hadoop【2】下载hadoop和jdk并解压注：两个软件...
hadoop各种流程
zzc_while_go的博客
11-14 859
元数据合并流程 HDFS的读写过程 shuffle过程 job提交流程 元数据合并流程 CheckPoint edits:日志的元数据 fsImage ：镜像的元数据 1）snn会向namenode发送元数据是否合并的检查 1min检查一次 2）namenode需要元数据合并 会向snn进行相应 3）snn向namenode发送元数据合并的 请求 4）namenode将正在编辑的元数据的日志...
Hadoop程序运行全过程详解
喜欢就要珍惜，珍惜就别放弃
05-10 1673
以wordcount程序为例 一,文件输入阶段 将文件放到hdfs的input文件夹下，TextInputFormat类的inputSplit方法会将文件切分为一个个的split(切片),每个split的大小要尽量大但最好不要超过block(hdfs保存数据的基本单元，大小默认为64M,可以更改一般不超过128M)这是因为每个split对应一个map任务,split尽量大，split的数目就会
《大数据： Hadoop（MapReduce） 运行流程》
yexiangCSDN的专栏
08-26 427
一、Hadoop 1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！ 2.hadoop中的组件 1.x HDFS： 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块！ MapReduce: 负责计算，负责计算资源的申请的调度！ 完成大数据的计算 ①写程序，程序需要复合计算框架的要求！ java---->main----->运行 MapReduce(编程模型)----->Map--Reducer ②...
hadoop集群的简单运行流程
qq_74585474的博客
09-28 553
HDFS是Hadoop的文件系统，它能够将大量的数据划分成更小的块，并将这些块分发到集群中的各个节点上进行并行处理。在Reduce阶段，Reducer任务接收到相同城市的中间键值对，计算这些城市的人口之和，然后将最终结果写入输出文件中。：使用适当的输入格式读取每个数据源中的数据。这只是数据分发的一个简单示例代码，实际的应用中可能需要更多的配置和处理步骤，例如处理大量的数据文件、处理数据的复杂逻辑等。然后，在Reduce阶段，Reducer任务接收到相同id的中间键值对，并将它们按照需要的方式进行整合。
Hadoop 2.6 MapReduce运行原理详解
weixin_33885676的博客
06-05 623
　　市面上的hadoop权威指南一类的都是老版本的书籍了，索性学习并翻译了下最新版的Hadoop:The Definitive Guide, 4th Edition与大家共同学习。 　　我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节： 　　1、向client端提交MapReduce job. 　　2、随后yarn的ResourceManager进行资源的分配....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值