org.apache.hadoop.security.AccessControlException 解决办法

最新推荐文章于 2024-04-04 20:23:32 发布

奋斗的小蚁

最新推荐文章于 2024-04-04 20:23:32 发布

阅读量1.1w

点赞数 5

CC 4.0 BY-SA版权

分类专栏：大数据cdh平台

本文链接：https://blog.csdn.net/qq_30552441/article/details/94477437

大数据cdh平台专栏收录该内容

27 篇文章

订阅专栏

本文解析了在Hadoop和Spark环境下常见的权限异常问题，包括上传文件到HDFS失败、spark-shell启动错误及远程任务提交失败等场景，并提供了详细的解决方案，如修改系统环境变量、代码设置或配置文件调整。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

异常1:

上传文件到hdfs，找不到文件
在这里插入图片描述

异常2:

spark-shell启动报错
在这里插入图片描述
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

异常3：

远程提交任务给Hadoop 可能会遇到 “org.apache.hadoop.security.AccessControlException:Permission denied: user=…”

异常4:

如果是spark on YARN，也同样会遇到类似的问题

分析

为什么产生异常信息：
原因很简单，因为远程提交的情况下如果没有hadoop 的系统环境变量，就会读取当前主机的用户名，所以Hadoop集群的节点中没有该用户名的权限，所以出现的异常。

解决：

方法1.

    将：export HADOOP_USER_NAME ＝ hdfs 

    添加到 ~/.bash_profile 中，然后执行

    source  ~/.bash_profile

注意：~/.bash_profile只对当前用户有效。每个用户有一个 ~/.bash_profile文件。

方法2.

    将System.setProperty("HADOOP_USER_NAME”,“hdfs”);     

    添加到代码的main方法首部，

    该语句的意思是修改代码的系统变量HADOOP_USER_NAME的内容为hdfs

当然，也可以使用网上常说的修改hadoop的配置文件来解决该问题。