忧郁王子的专栏

算子分类 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。 Action 算子会触发 Spark 提交作业（Job），并将数据输出 Spark系统。 1.输入：在Spark程序运行中，数据从外部数

(1)小括号()用来表示优先级，传入函数参数序列，以及传入容器的下标或key。 (2)中括号[]用来表示容器的元素的数值类型。 (3)大括号{}用来划分作用域，{}的返回值为最后一个语句的值。 (4)句点符号.表示方法，可以用空格代替。 (5)冒号:用来说明变量的数据类型。 (6)=>用来表示匿名函数的映射关系。 (7)->用来指定映射Map中的键值关系。 (8)<-用来指定for表达式的迭代器。 (9)下划线_在Scala中被用作占位符表示匿名函数参数或作为引入package的通配符。