hdfs写文件底层分析

一只菜狗

于 2021-09-18 17:08:33 发布

阅读量227

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_39007083/article/details/120370829

hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细解析了HDFS文件系统的写入流程，包括文件创建阶段的大量判断过程及DataQueue队列的作用，以及写入阶段如何通过DataStreamer监控和处理队列中的数据。文章还介绍了如何从NameNode获取Block存储的DataNode节点列表信息，并通过Socket进行数据传输的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对hdfs底层的写入进行分析

一流程图

1. 流程图

2. 过程解析

create 阶段：

   1.1 在hdfs系统上创建文件，过程会经历大量的判断；

   1.2 创建DataQueue数据队列来接收本地的数据，启动DataStreamer线程监控和处理队列中的数据。

write阶段：

    2.1 向DataStreamer中的DataQueue队列中写数据，有则唤醒，满则等待

    2.2 建立数据通信管道以及创建输出流

        2.2.1 从nameNode获取block需要存储的DataNode节点列表信息(通过机架感知策略)

        2.2.2 创建输出流，通过socket发送数据，DataNode节点启动线程，接收socket数据，写入文件，数据传输是依次的，不是由客户端传到其他所有DataNode节点

    2.3 在DataStreamer中创建一个处理反馈应答信息的线程ResponseProcessor，主要用来监听数据是否发送成功