一.引言
java -classpath xxx.jar yyy.class
在通道机部署本地任务时,执行报错 Unsupported major.minor version 52.0 :
查了其他解决方案主要结论是:
jar 包是在高版本 java 下打包,运行环境是低版本,所以解决方案一种是将打包的 jdk 版本降低或者是将执行环境的版本提升,如果机器是自己的,项目是自己的比较好修改版本,当遇到机器没有 root 权限 or jar 包为其他同学提供时上述方案失效。
二.解决方案
本地执行 java 失败,将项目代码转换为 spark,然后利用 spark-submit 的 local 模式提交即可避开该问题,将原始执行的本地代码样本通过 sc.parallel 序列化成 rdd 再 collect 转一遍拉到本地,随后执行之前相同逻辑即可。
1.代码转换
val conf = new SparkConf().setAppName("xxx")
val sc = new SparkContext(conf)
val oriInfo = Array[String]()
val oriInfoCopy = sc.parallelize(oriInfo).collect()
2.Spark-Submit
$SPARK_HOME/bin/spark-submit \
--class your_class \
--master local[1] \
./xxx.jar \
改用 spark local 模式后,任务成功通道机执行