spark模型error java.lang.IllegalArgumentException: Row length is 0

转载于 2019-09-30 17:29:00 发布 · 3.1k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/shaozhiqi/p/11613605.html

文章标签：

#大数据 #java #开发工具

本文介绍了在使用Spark处理数据并写入HBase时遇到的一个常见异常：IllegalArgumentException:Row长度是0。通过分析异常原因，给出了具体的解决方案，即在处理前过滤掉空字符串或null值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0

场景是写入hbase：

val put = new Put(Bytes.toBytes(line._1))

当取出的line._1做为row,值是“”或者null时就会出现此异常。所以做如下处理，先过滤掉为null和“”的数据

    val bhaseRdd = resultRdd.filter(r => {
      r._1 != "" && r._1!=null&&r._1.length>0
    }).map(line => {
      val put = new Put(Bytes.toBytes(line._1)) //rowKey 为参数，拿到put
      val key = line._2.keySet().iterator(); //拿到对应的dataMap
    ........

转载于:https://www.cnblogs.com/shaozhiqi/p/11613605.html