【FAQ】Impala常见异常incompatible Parquet schema for column

最新推荐文章于 2022-04-12 10:58:08 发布

loongshawn

最新推荐文章于 2022-04-12 10:58:08 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记 Big Data 文章标签： impala spark

本文链接：https://blog.csdn.net/loongshawn/article/details/118310695

本文档介绍了在使用Impala查询时遇到的'Incompatible Parquet schema'异常，详细分析了问题的原因及解决方案。当在Parquet格式的表中新增字段时，不规范的操作可能导致查询失败。解决方法包括遵循在末尾添加新字段的规范或者通过设置IMPALA的PARQUET_FALLBACK_SCHEMA_RESOLUTION参数来解决。同时，文中也对比了Spark SQL和Impala在处理空字段时的不同行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求来源

impala查询

问题描述

Impala查询表报如下异常

nested exception is java.sql.SQLException: File 'hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx' has an incompatible Parquet schema for column 'v.table.fileed'. Column type: DOUBLE, Parquet schema: optional byte_array f

nested exception is java.sql.SQLException: File ‘hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx’ has an incompatible Parquet schema for column ‘v.table.fileed’. Column type: DOUBLE, Parquet schema: optional byte_array f

解决方式

方式一、操作规范：分区表涉及新增字段，一律在末尾添加，不会错。
方式二、set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name¹。使用 Impala 查询时设置参数PARQUET_FALLBACK_SCHEMA_RESOLUTION=name 来要求 Impala 使用列的名称来解析 Parquet 中对应的列。该配置从 CDH 5.8 / Impala 2.6 版本开始加入。<

最低0.47元/天解锁文章

200万优质内容无限畅学