大数据学习（三十三）一分钟了解hdfs（通俗易懂版）

一、hdfs前言

为何而诞生：需要将大文件、大批量文件，分布式存放在大量服务器上。

作用：为大数据分布式运算框架提供数据存储服务（mapreduce、spark等等）

（补充：hdfs是架在本地文件系统上面的分布式文件系统，它就是个软件，也就是用一套代码把底下所有机器的硬盘变成一个软件下的目录，和mysql没有什么区别，思想一样）

以上内容来自  HDFS全面详解_如月之恒-的博客-CSDN博客  博主讲的非常通俗易懂

二、hdfs的一些特点（节点、分块、副本存储）

1.HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M

2.HDFS 默认保存 3 份副本

3.节点

namenode节点：当用户访问数据文件时，为了保证能够读取到每一个数据块，hdfs会有专门负责保存文件属性信息的节点，也就是 namenode节点。

datanode节点：hdfs首先把大文件切分成若干个小的数据块，再把这些数据块写入不同的节点，这个负责保存文件数据的节点就是 datanode 节点

SecondaryNameNode节点 定期把NameNode的 fsimage 和 edits 下载到本地，再将它们加载到内存并进行合并，最后把合并后新的 fsimage 返回NameNode

三、hdfs的优缺点。

待更新