xixi_258的博客

1 在IDEA运行的环境 val conf=new SparkConf() val sc=new SparkContext(conf) val spark=SparkSession.builder().getOrCreate() import spark.implicits._ 2 读入文件并防止乱码 val df1=spark.read.option("header",true).option("encoding","gbk").csv("hdfs://dfspath") 3 筛选列、字段 selec