HDFS操作

### HDFS 操作指南 #### 1. HDFS 架构概述 HDFS 的核心组件包括 NameNode (NN)、DataNode (DN) 和 Secondary NameNode (2NN)[^2]。 - **NameNode**: 负责管理文件系统的命名空间和元数据，维护块到 DataNode 映射关系，并响应客户端的读写请求。 - **DataNode**: 实际存储数据块并执行具体的读写操作。 - **Secondary NameNode**: 定期合并 FsImage 和 EditLogs 文件，减轻 NameNode 工作负担，在紧急情况下可协助恢复。 --- #### 2. 常见 HDFS 操作命令 以下是常用的 HDFS CLI 操作命令： ##### （1）查看 HDFS 中的内容 使用 `hdfs dfs -ls` 查看指定目录下的文件列表： ```bash hdfs dfs -ls / ``` ##### （2）创建新目录 通过 `-mkdir` 创建新的目录结构： ```bash hdfs dfs -mkdir -p /user/test/directory ``` ##### （3）上传本地文件至 HDFS 利用 `-put` 或者 `-copyFromLocal` 将本地文件上传到 HDFS 上： ```bash hdfs dfs -put localfile.txt /user/test/ ``` 或者批量上传整个文件夹： ```bash hdfs dfs -copyFromLocal ./localdir /user/test/ ``` ##### （4）下载 HDFS 文件到本地 采用 `-get` 下载单个文件或使用 `-getmerge` 合并多个文件为一个大文件后再下载： ```bash hdfs dfs -get /user/test/file.txt . ``` ##### （5）删除 HDFS 文件 强制删除某个文件或递归清空某目录内容： ```bash hdfs dfs -rm -r /user/test/directory ``` ##### （6）格式化 NameNode 首次启动前需初始化文件系统，运行以下脚本即可完成格式化动作[^1]: ```bash hdfs namenode -format ``` --- #### 3. 数据平衡器（Balancer） 当集群中的节点间负载不均时，可通过 balancer 来重新分配数据以优化性能[^4]: 启动 Balancer 进程： ```bash hdfs balancer [-threshold VALUE] ``` 其中参数 `-threshold` 表示允许的最大不平衡百分比，默认值设为 10%。 其内部机制涉及以下几个阶段： 1. 获取当前各 DataNode 磁盘利用率统计； 2. 计算哪些节点之间存在冗余或不足状况； 3. 制定详细的迁移计划表； 4. 执行实际的数据搬移流程直到满足设定阈值为止； --- #### 4. 高级功能——CLI工具扩展 对于复杂场景下需要调用 API 接口实现自动化运维任务，则推荐借助 Python 库[hdfscli][^3]简化开发难度样例如下所示: 安装依赖库: ```bash pip install hdfs ``` 编写简单的程序片段来测试连接状态以及上传文件: ```python from hdfs import InsecureClient client = InsecureClient('http://namenode:50070', user='root') with open('/path/to/local_file') as reader: client.upload('/destination/path/on/hdfs/', reader) ``` --- ### 注意事项 在日常维护过程中需要注意监控日志输出以便及时发现潜在隐患问题所在位置;另外也要定期备份重要配置文件以防意外丢失造成不可逆损失.