************************************************************/ bigdata@master:~/software/hadoop/etc/hadoop$ ls capacity-scheduler.xml hadoop-metrics2.properties httpfs-log4j.properties log4j.properties ssl-client.xml.example yarnservice-log4j.properties configuration.xsl hadoop-policy.xml httpfs-site.xml mapred-env.cmd ssl-server.xml.example yarn-site.xml container-executor.cfg hadoop-user-functions.sh.example kms-acls.xml mapred-env.sh user_ec_policies.xml.template core-site.xml hdfs-rbf-site.xml kms-env.sh mapred-queues.xml.template workers hadoop-env.cmd hdfs-site.xml kms-log4j.properties mapred-site.xml yarn-env.cmd hadoop-env.sh httpfs-env.sh kms-site.xml shellprofile.d yarn-env.sh bigdata@master:~/software/hadoop/etc/hadoop$ start-dfs.sh Starting namenodes on [localhost] localhost: Warning: Permanently added 'localhost' (ED25519) to the list of known hosts. localhost: bigdata@localhost: Permission denied (publickey,password). Starting datanodes localhost: bigdata@localhost: Permission denied (publickey,password). Starting secondary namenodes [master] master: Warning: Permanently added 'master' (ED25519) to the list of known hosts. master: bigdata@master: Permission denied (publickey,password). bigdata@master:~/software/hadoop/etc/hadoop$ sudo start-dfs.sh sudo: start-dfs.sh: command not found bigdata@master:~/software/hadoop/etc/hadoop$ sudo /home/bigdata/software/hadoop/etc/hadoop/start-dfs.sh sudo: /home/bigdata/software/hadoop/etc/hadoop/start-dfs.sh: command not found bigdata@master:~/software/hadoop/etc/hadoop$

<think>嗯，用户遇到了Hadoop启动的问题，具体是在执行start-dfs.sh脚本时出现了权限被拒绝的错误。用户尝试了普通用户和sudo执行，但都遇到了问题。首先，我需要分析错误信息。 用户第一次运行start-dfs.sh时，提示“Permission denied (publickey,password)”。这通常和SSH免密登录配置有关，因为Hadoop的节点间通信需要无密码登录。用户可能没有正确设置SSH密钥，导致无法连接到localhost或其他节点。 接下来，用户尝试使用sudo执行start-dfs.sh，但系统提示命令找不到。这可能是因为sudo的环境变量和普通用户不同，导致无法找到Hadoop的脚本路径。用户又尝试了绝对路径，但依然失败，可能是因为脚本本身没有执行权限，或者环境配置不正确。 首先，我应该检查SSH配置。用户需要为当前用户生成SSH密钥对，并将公钥添加到authorized_keys文件中，确保能够无密码登录到localhost和其他节点。此外，用户可能没有正确配置主节点到其他节点的SSH访问，导致secondary namenode启动失败。 然后，关于sudo找不到命令的问题，需要确认Hadoop的环境变量是否在sudo环境中正确设置。或者，是否应该以Hadoop用户而不是root身份运行脚本。此外，检查start-dfs.sh脚本的执行权限，可能需要chmod +x来赋予执行权限。 另外，用户可能没有正确配置Hadoop的环境变量，比如JAVA_HOME或HADOOP_HOME，导致脚本无法找到必要的依赖。需要检查hadoop-env.sh等配置文件，确保路径正确。 最后，用户可能在使用sudo时路径不正确，或者脚本内部调用了其他需要特定环境变量的命令，导致失败。建议用户不要使用sudo，而是正确设置权限和环境变量，以普通用户身份运行Hadoop服务。 总结下来，用户的问题主要集中在SSH免密登录配置、脚本执行权限和环境变量设置上。需要分步骤指导用户检查这些方面，确保每个环节都正确配置，从而解决启动HDFS时的权限问题。</think>--- ### **问题分析** 根据你的操作记录，启动HDFS时出现以下关键问题： 1. **SSH免密登录失败**：`Permission denied (publickey,password)`，说明主节点无法通过SSH无密码连接到自身（localhost）和其他节点（如`master`）。 2. **脚本路径与环境变量问题**：直接使用`sudo start-dfs.sh`会提示命令不存在，因为`sudo`默认不继承用户的环境变量（如`PATH`中包含的Hadoop路径）。 --- ### **分步解决方案** #### **1. 修复SSH免密登录** Hadoop要求主节点（NameNode）能通过SSH无密码登录到所有节点（包括自身）。以下是配置方法： ```bash # 生成SSH密钥对（如果尚未生成） ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa # 将公钥复制到本机和其他节点（如master） ssh-copy-id bigdata@localhost ssh-copy-id bigdata@master # 测试免密登录 ssh localhost ssh master ``` **注意**：如果节点名`master`在`/etc/hosts`中未正确映射到IP地址，需先配置： ```bash # 编辑hosts文件（需sudo权限） sudo nano /etc/hosts # 添加类似内容： # 192.168.1.100 master # 192.168.1.101 worker1 ``` --- #### **2. 正确启动HDFS脚本** Hadoop的启动脚本需在**普通用户**环境下执行（非`sudo`），且依赖`HADOOP_HOME`环境变量： ```bash # 确保Hadoop环境变量已配置（添加到~/.bashrc） echo 'export HADOOP_HOME=/home/bigdata/software/hadoop' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc source ~/.bashrc # 赋予脚本执行权限（关键！） chmod +x $HADOOP_HOME/sbin/*.sh # 启动HDFS start-dfs.sh ``` --- #### **3. 验证关键配置** 检查以下文件是否配置正确： 1. **`core-site.xml`**（NameNode地址）： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> ``` 2. **`hdfs-site.xml`**（副本数与数据存储路径）： ```xml <property> <name>dfs.replication</name> <value>1</value> <!-- 单节点部署时设为1 --> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/bigdata/hadoop/data/namenode</value> </property> ``` 3. **`workers`文件**（确保包含所有DataNode主机名）： ```plaintext master # 若有多节点，添加其他主机名 ``` --- #### **4. 常见错误排查** - **错误1**：`start-dfs.sh: command not found` **原因**：`HADOOP_HOME/sbin`未加入`PATH`环境变量。 **解决**：使用绝对路径执行： ```bash $HADOOP_HOME/sbin/start-dfs.sh ``` - **错误2**：`Permission denied` 或 `Connection refused` **原因**：SSH配置未完成或防火墙阻挡。 **解决**： ```bash # 关闭防火墙（测试环境） sudo ufw disable # 检查SSH服务状态 sudo systemctl status sshd ``` --- ### **操作流程图** ```plaintext 生成SSH密钥对 → 配置免密登录 → 设置Hadoop环境变量 → 修改配置文件 → 启动HDFS → 验证服务状态（jps） ``` --- ### **总结** 你的问题核心是**SSH免密登录未配置**和**Hadoop环境变量缺失**。通过修复SSH权限、正确设置环境变量，并赋予脚本执行权限，即可正常启动HDFS。避免使用`sudo`直接执行Hadoop脚本，确保所有操作在普通用户权限下完成。