Spark基础(3)PairRDD-reduceByKey、groupByKey、sortByKey、sortBy、mapValue和join

最新推荐文章于 2024-04-21 14:28:25 发布

yukaiwen0102

最新推荐文章于 2024-04-21 14:28:25 发布

阅读量679

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark Scala 文章标签： scala spark

本文链接：https://blog.csdn.net/qq_16898611/article/details/104502338

Scala 同时被 2 个专栏收录

18 篇文章

订阅专栏

Spark

16 篇文章

订阅专栏

本文介绍了Spark中PairRDD的创建方法，重点讲解了常用的转换操作，包括reduceByKey用于合并相同键的值，groupByKey对相同键的值进行分组，以及sortByKey进行键值对排序。同时，文章还探讨了reduceByKey与groupByKey的区别，并提到了mapValues函数的应用以及join操作的内连接概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PairRDD的创建

可以采用多种方式创建Pair RDD，其中一种主要的方式是使用map()函数来实现。

scala> val lines = sc.textFile("pathToFile")
scala> val pairRDD = lines.flatMap(line => line.split(" ")).map(word => (word, 1))
scala> pairRDD.foreach(println)

第二种创建方式：通过并行集合（数组）创建RDD

scala> val list = List("Hadoop","Spark","Hive")
scala> val rdd = sc.parallelize(list)
scala> pairRDD = rdd.map(word => (word,1))
scala> pairRDD.foreach(println)

常用的PairRDD转换操作

reduceByKey(func) 使用func函数合并具有相同键的值

scala> pairRDD.reduceByKey((a,b)=>a+b).foreach(println)

groupByKey(func), 对具有相同Key的Value进行分组，Key相同对Value生成一个列表

比如四个键值对：

scala> val map = Map("spark"->1, "spark"->2, "hadoop"->3, "hadoop"->5)
// 采用groupByKey()后得到的结果是
scala> ("spark",(1,2))和（“hadoop”,(3,5)）

关于reduceByKey和groupByKey的区别

scala> val words = Array("one","two","three","three","three")
scala> val wordPairsRDD = sc.parallelize(words).map(word => (word,1))
scala> val wordCountsWithReduce = wordPairsRdd.reduceByKey(_+_)
scala> val wordCountsWithGroup = wordPairsRdd.groupByKey().map(t=>(t._1, t._2.sum))
// group得到的value在Iterable中，且group的通信开销大

sortByKey()的功能是返回一个根据键值对排序的RDD（返回的一定是键值对）

关于sortByKey()和sortBy()

// sortByKey()
scala> val d1=sc.parallelize(Array(("c",8),("b",25),("c",17)))
scala> d1.reduceByKey(_+_).sortByKey(false).collect // 按照键值对的值进行降序排序

// sortBy()
scala> val d2=sc.parallelize(Array(("c",8),("b",25),("c",17)))
scala> d2.reduceByKey(_+_).sortBy(_._2, false).collect //按照键值对的Value进行排序

或者将key-value进行调换再排序

scala> d.map(t=>(t._2,t._1)).sortByKey(false).map(t=>t._2,t._1)

mapValues(func)：对键值对RDD中的每一个value都应用一个函数，但是key不会发生变化。

scala> pairRDD.mapValues(x => x+1)
// (hadoop, 1) -> (hadoop, 2)

join：表示内连接。对于内连接，对于给定的两个输入数据集(K,V1)和(K,V2)，只有在两个数据集中都存在的key才会被输出，最终得到一个(K, (V1,V2))类型的数据集（注：在关系型数据库中就能够体现出来重要性）

scala> val pairRDD1 = sc.parallelize(Array(("spark",1),("spark",2),("hadoop",3)))
scala> val pairRDD2 = sc.parallelize(Array(("spark","fast")))
scala> pairRDD1.join(pairRDD2)
scala> pairRDD1.join(pairRDD2).foreach(println)
(spark,(1,fast))
(spark,(2,fast))