MapReduce处理HBase出错：XXX.jar is not a valid DFS filename

背景： 在idea中运行spark程序来操作MySQL数据库中的表时报错： Exception in thread “main” java.lang.IllegalArgumentException: Pathname /F:/spark/spark-warehouse from F:/spark/spark-warehouse is not a valid DFS filename. 原因： 因为我们在程序中，通常会将代码以打jar包的方式，放到集群中运行，所以会导入hdfs-site.xml和core

转载于:https://www.cnblogs.com/wqbin/p/10976711.html

java.lang.IllegalArgumentException: Pathname /E:/data/hello.txt from hdfs://ns1/E:/data/hello.txt is not a valid DFS filename 原因就在于，已经在classpath下面加载了hdfs-site.xml和core-site.xml的配置文件，则会自动理解输入的文件路径为hdfs的，自然会报错。所以，在此情况下还想加载本地文件，那么就告诉机器以本地文件的格式或者协议读取即可 把/E:/da

本地执行spark structured streaming 报错，程序代码： def main(args: Array[String]): Unit = { val spark = SparkSession .builder .master("local[2]") .appName("sparkStream2hudi") .getOrCreate() //消费kafka import spark.implicits._

删除这三个文件就可以了,原因不详 Exception in thread “main” java.lang.IllegalArgumentException: Pathname /D:/adeaProject/bigData/TestSpark/spark-warehouse from hdfs://ns/D:/adeaProject/bigData/TestSpark/spark-warehouse is not a valid DFS filename. at org.apache.hadoop.hdf

首先确保本地hadoop环境正常 运行环境：spark 3.0.2 | hdfs 3.1.1 | kafka 2.0.0 问题描述： 执行idea sss读取kafka报错如下 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/LZX/AppData/Local/Temp/temporary-e832fafa-8da6-4250-bdc7-31b91d9be96e from hdfs://xx

Exception in thread "main" java.lang.IllegalArgumentException: Pathname ...... is not a valid DFS filename 我在Windows上配置了Hadoop 2.6.0，我可以看到名称节点，数据节点，资源管理器和节点管理器正常运行，当我尝试运行其中一个mapreduce程序时，出现了上述问题。上网查了...

执行报错 from C:/Users/Xx/AppData/Local/Temp/temporary-d9436146-e83a-4b88-8c5f-a4668bfe6598 is not a valid DFS filename

E:\hive\apache-hive-0.14.0-bin\bin>hive Logging initialized using configuration in file:/E:/hive/apache-hive-0.14.0-bin/conf/hive-log4j.properties SLF4J: Class path contains multiple SLF4J bindin...

这个问题一看就是没有区分hadfs地址还是本地地址，但是我知道了错也不会咋改，最后尝试在path路径前面加入file\\解决问题，例如： 就不会报错运行结束了，但是这样输出的不是一个文件而是一个文件夹，不过也可以查看我们的运行结果 、将这个用记事本或者其他文本工具打开，就可以了 ...

代码： package hdfsandhbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hado

Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/18870/AppData/Local/Temp/temporary-acc01e20-1ddb-4bfb-bb81-89c2657e97e5 from C:/Users/18870/AppData/Local/Temp/temporary-acc01e20-1ddb-4bfb-bb81-89c2657e97e5 is not a valid D

# 加入以下参数 TableMapReduceUtil.initTableMapperJob("t", scan, MyMapper.class, null, null, job, false); TableMapReduceUtil.initTableReducerJob("t", HdfsToHBaseReducer.class, job, null, ...

工具：IntelliJ IDEA 2018.2.4 x64 方法一： 将两个xml文件core-site.xml与hdfs-site.xml放到resources下 方法二： 手动代码配置，不过可能会覆盖掉配置文件中读取的值 比如： Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs...

一. 代码      Hbase In Action(HBase实战)和Hbase:The Definitive Guide(HBase权威指南)两本书中，有很多入门级的代码，可以选择自己感兴趣的check out。地址分别为https://github.com/HBaseinaction https://github.com/larsgeorge/hbase-book。 在Win7下运...

在运行spark的时候本来是准备找的，却找路径找到hdfs里面了 因为你曾经在id中运行spark访问hive数据库 id中的resources有hdfs-site.xml所以就自动的去访问hdfs的路径 解决原因 删除这三个文件就好了 ...