win上idea运行代码，报错找不到hadoop winutil.exe不配环境变量的做法

原创已于 2023-09-19 16:35:56 修改 · 329 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop

于 2023-08-31 11:46:34 首次发布

本文介绍了一个简化在公司电脑上配置Hadoop环境的方法，通过设置环境变量并创建SparkSession实例，展示了如何使用SparkSession创建RDD进行分布式计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为配置环境变量比较麻烦，公司电脑还涉及管理员权限，着实麻烦，甚至还会遇到安装不好的情况，哈哈，这个方案可以减少那些时间；
配置 System.setProperty(“hadoop.home.dir”, “D:\ruanjian\hadoop-2.6.5”)
hadoop下载链接：https://github.com/sunnyandgood/BigData/blob/master/HDFS/hadoop-common-2.6.0.zip

import org.apache.spark.sql.SparkSession

object test1 {
  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir", "D:\\ruanjian\\hadoop-2.6.5")
    //    创建 SparkSession 对象
    val ss: SparkSession = SparkSession.builder
      .appName("CreateRDDExample")
      .master("local[*]")
      .getOrCreate()

    // 创建 RDD
    val rdd: RDD[Int] = ss.sparkContext.parallelize(1 to 10)

    // 转换为列表
    val rdd_list: Array[Int] = rdd.collect()
    for (data <- rdd_list) {
      println(data)
    }
  }
}