Spark 运行警告：spark.debug.maxToStringFields

一点IT技术

于 2020-04-26 12:08:26 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Saprk 文章标签： spark

本文链接：https://blog.csdn.net/weixin_43239554/article/details/105766104

Saprk 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了解决Spark运行中出现的字符串表示过长错误的方法。通过调整‘spark.debug.maxToStringFields’参数，可以避免因计划表示过大导致的截断问题。具体操作是在SparkSession配置中增加.config(“spark.debug.maxToStringFields”,“100”)。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark运行报错

Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.

可以设置一个参数.config(“spark.debug.maxToStringFields”, “100”)

SparkSession
        .builder()
        .master("local[*]")
        .appName("report")
        .config("spark.debug.maxToStringFields", "100")
        .getOrCreate();