Spark - ReturnStatementInClosureException: Return statements aren‘t allowed in Spark closures

BIT_666

已于 2022-06-10 11:35:42 修改

阅读量3k

点赞数 1

分类专栏： Spark Scala 异常解决文章标签： Spark Scala Closures

于 2022-03-28 17:48:43 首次发布

本文链接：https://blog.csdn.net/BIT_666/article/details/123801345

版权

Scala 同时被 3 个专栏收录

150 篇文章

订阅专栏

异常解决

56 篇文章

订阅专栏

Spark

52 篇文章

订阅专栏

一.引言

Spark 使用 RDD 调用 Filter 函数时，dirver 端卡住，报错 ReturnStatementInClosureException: Return statements aren't allowed in Spark closures，即闭包内无法使用 return 函数：

二.使用场景

使用 rdd.filter 方法过滤 id 时使用了 return 方法，导致上述报错：

    rdd.filter(arr => {
       val id = arr(0)

       val l = id.length()
       if (l <= 8) return false

       if (id.startsWith("1")) {
           true
       } else {
           false
       }
     })

修改方案：

闭包函数内不使用 return 关键字即可

    rdd.filter(arr => {
        val id = arr(0)

        val l = id.length()

        if (l <= 8) {
            false
        } else if (id.startsWith("1")) {
            true
        } else {
            false
        }
    })

关注博主即可阅读全文