数据湖Iceberg-Hive集成Iceberg(3)

最新推荐文章于 2024-12-30 21:32:20 发布
最新推荐文章于 2024-12-30 21:32:20 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： hive hadoop 大数据 iceberg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangshenghang/article/details/130341012

文章目录


数据湖Iceberg-简介(1)
数据湖Iceberg-存储结构(2)
数据湖Iceberg-Hive集成Iceberg(3)
数据湖Iceberg-SparkSQL集成(4)
数据湖Iceberg-FlinkSQL集成(5)
数据湖Iceberg-FlinkSQL-kafka类型表数据无法成功写入(6)
数据湖Iceberg-Flink DataFrame集成(7)

Hive集成Iceberg

环境准备

Hive与Iceberg的版本对应关系如下

Hive版本官方推荐Hive版本Iceberg版本
2.x2.3.80.8.0-incubating~1.1.0
3.x3.1.20.10.0~1.1.0

Iceberg与Hive 2和Hive 3的集成，支持以下特性：

  • 创建表
  • 删除表
  • 读取表
  • 插入表（INSERT into）

更多功能需要Hive 4.x（目前alpha版本）才能支持。

上传jar包，拷贝到Hive的auxlib目录中

mkdir auxlib
cp iceberg-hive-runtime-1.1.0.jar /opt/module/hive/auxlib
cp libfb303-0.9.3.jar /opt/module/hive/auxlib

修改hive-site.xml，添加配置项

<property>
    <name>iceberg.engine.hive.enabled</name>
    <value>true</value>
</property>

<property>
    <name>hive.aux.jars.path</name>
    <value>/opt/module/hive/auxlib</value>
</property>

使用TEZ引擎注意事项：

  • 使用Hive版本>=3.1.2，需要TEZ版本>=0.10.1

  • 指定tez更新配置：

    <property>
  <name>tez.mrreader.config.update.properties</name>
  <value>hive.io.file.readcolumn.names,hive.io.file.readcolumn.ids</value>
</property>

  • 从Iceberg 0.11.0开始，如果Hive使用Tez引擎，需要关闭向量化执行：

    <property>
  <name>hive.vectorized.execution.enabled</name>
  <value>false</value>
</property>

启动 HMS 服务

启动 Hadoop

创建和管理 Catalog

​ Iceberg支持多种不同的Catalog类型，例如:Hive、Hadoop、亚马逊的AWS Glue和自定义Catalog。

根据不同配置，分为三种情况：

  • 没有设置iceberg.catalog，默认使用HiveCatalog

  • 设置了 iceberg.catalog的类型，使用指定的Catalog类型，如下表格

配置项说明
iceberg.catalog.<catalog_name>.typeCatalog的类型: hive, hadoop, 如果使用自定义Catalog，则不设置
iceberg.catalog.<catalog_name>.catalog-implCatalog的实现类, 如果上面的type没有设置，则此参数必须设置
iceberg.catalog.<catalog_name>.Catalog的其他配置项
  • 设置 iceberg.catalog=location_based_table，直接通过指定的根路径来加载Iceberg表

默认使用 HiveCatalog

CREATE TABLE iceberg_test1 (i int) 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler';
 
INSERT INTO iceberg_test1 values(1);

查看HDFS可以发现，表目录在默认的hive仓库路径下。

指定 Catalog 类型

使用 HiveCatalog
set iceberg.catalog.iceberg_hive.type=hive;
set iceberg.catalog.iceberg_hive.uri=thrift://hadoop1:9083;
set iceberg.catalog.iceberg_hive.clients=10;
set iceberg.catalog.iceberg_hive.warehouse=hdfs://hadoop1:8020/warehouse/iceberg-hive;

CREATE TABLE iceberg_test2 (i int) 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler'
TBLPROPERTIES('iceberg.catalog'='iceberg_hive');
 
INSERT INTO iceberg_test2 values(1);
使用 HadoopCatalog
set iceberg.catalog.iceberg_hadoop.type=hadoop;
set iceberg.catalog.iceberg_hadoop.warehouse=hdfs://hadoop1:8020/warehouse/iceberg-hadoop;

CREATE TABLE iceberg_test3 (i int) 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
LOCATION 'hdfs://hadoop1:8020/warehouse/iceberg-hadoop/default/iceberg_test3'
TBLPROPERTIES('iceberg.catalog'='iceberg_hadoop');

INSERT INTO iceberg_test3 values(1);
指定路径加载

如果HDFS中已经存在iceberg格式表，我们可以通过在Hive中创建Icerberg格式表指定对应的location路径映射数据。

CREATE EXTERNAL TABLE iceberg_test4 (i int)
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler'
LOCATION 'hdfs://hadoop1:8020/warehouse/iceberg-hadoop/default/iceberg_test3'
TBLPROPERTIES ('iceberg.catalog'='location_based_table');

基本操作

创建表

创建外部表
CREATE EXTERNAL TABLE iceberg_create1 (i int) 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler';

describe formatted iceberg_create1;
创建内部表
CREATE TABLE iceberg_create2 (i int) 
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler';

describe formatted iceberg_create2;
创建分区表
CREATE EXTERNAL TABLE iceberg_create3 (id int,name string)
PARTITIONED BY (age int)
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler';

describe formatted iceberg_create3;

Hive语法创建分区表，不会在HMS中创建分区，而是将分区数据转换为Iceberg标识分区。这种情况下不能使用Iceberg的分区转换，例如：days(timestamp)，如果想要使用Iceberg格式表的分区转换标识分区，需要使用Spark或者Flink引擎创建表

修改表

只支持HiveCatalog表修改表属性，Iceberg表属性和Hive表属性存储在HMS中是同步的。

ALTER TABLE iceberg_create1 SET TBLPROPERTIES('external.table.purge'='FALSE');

插入表

支持标准单表INSERT INTO操作

INSERT INTO iceberg_create2 VALUES (1);
INSERT INTO iceberg_create1 select * from iceberg_create2;

在HIVE 3.x中，INSERT OVERWRITE虽然能执行，但其实是追加。

删除表

DROP TABLE iceberg_create1;

Hive集成Iceberg-Ambari2.7.5（该版本无法集成Iceberg,记录了集成失败过程）

版本

Hive:3.1.0

Tez:0.9.1

Iceberg:1.1.0

上传jar包，拷贝到Hive MeataStore服务所在机器的/opt/hive/iceberglib目录中

[root@bigdata-24-199 iceberglib]# pwd
/opt/hive/iceberglib
[root@bigdata-24-199 iceberglib]# ls
iceberg-hive-runtime-1.1.0.jar  libfb303-0.9.3.jar

修改hive-site.xml，添加配置项

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

<property>
    <name>iceberg.engine.hive.enabled</name>
    <value>true</value>
</property>

<property>
    <name>hive.aux.jars.path</name>
    <value>/opt/hive/iceberglib</value>
</property>

在Ambari中配置hive(Ambari版本中必须配置这一步，不然后续创建表提示招不到类)

在这里插入图片描述

修改hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包

export HIVE_AUX_JARS_PATH=/usr/hdp/current/hive-server2/lib/hive-hcatalog-core.jar:/opt/hive/iceberglib/iceberg-hive-runtime-1.1.0.jar:/opt/hive/iceberglib/libfb303-0.9.3.jar

在这里插入图片描述

在这里插入图片描述

从Iceberg 0.11.0开始，如果Hive使用Tez引擎，需要关闭向量化执行：

<property>
  <name>hive.vectorized.execution.enabled</name>
  <value>false</value>
</property>

保存重启

在这里插入图片描述

可能遇到的问题

创建表提示 Error: Error while compiling statement: FAILED: SemanticException Cannot find class ‘org.apache.iceberg.mr.hive.HiveIcebergStorageHandler’ (state=42000,code=40000)

通过set hive.aux.jars.path;命令查看是否配置成功

0: jdbc:hive2://bigdata-24-199:2181,bigdata-2> set hive.aux.jars.path;
+----------------------------------------------------+
|                        set                         |
+----------------------------------------------------+
| hive.aux.jars.path=file:///usr/hdp/current/hive-webhcat/share/hcatalog/hive-hcatalog-core.jar |
+----------------------------------------------------+
1 row selected (0.836 seconds)

发现没有我们配置的jar包

说明我们之前配置没有生效，原因为：Ambari配置hive.aux.jars.path方式不同

配置方法：

  • 1.hive添加第三方jar包

  • 2.上传jar包,添加到hive-server所在服务器

  • 3.在Ambari>hive>config中
    的hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包

    HIVE_AUX_JARS_PATH=/usr/hdp/current/hive-server2-hive2/lib/hive-hcatalog-core.jar:/usr/hdp/current/hive-server2-hive2/lib/hive-udf.jar

在这里插入图片描述

在这里插入图片描述

  • 4.重启服务，解决问题
不兼容-insert数据后查询不到，在HDFS中也看不到快照等文件

执行 INSERT INTO iceberg_test1 values(1);添加数据后

执行查询看不到数据

0: jdbc:hive2://bigdata-24-199:2181,bigdata-2> select * from iceberg_test1;
INFO  : Compiling command(queryId=hive_20230413105058_0937e14c-613a-43ce-ba17-18a6601f044c): select * from iceberg_test1
INFO  : Semantic Analysis Completed (retrial = false)
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:iceberg_test1.i, type:int, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20230413105058_0937e14c-613a-43ce-ba17-18a6601f044c); Time taken: 7.631 seconds
INFO  : Executing command(queryId=hive_20230413105058_0937e14c-613a-43ce-ba17-18a6601f044c): select * from iceberg_test1
INFO  : Completed executing command(queryId=hive_20230413105058_0937e14c-613a-43ce-ba17-18a6601f044c); Time taken: 0.027 seconds
INFO  : OK
+------------------+
| iceberg_test1.i  |
+------------------+
+------------------+
No rows selected (7.953 seconds)

查看HDFS存储该表的路径发现，数据文件在里面，metadata.json文件在里面，但是快照文件没有（文件接口可以查看文章：数据湖Iceberg-存储结构(2)）暂时无法解决

[hdfs@bigdata-24-199 ~]$ hdfs dfs -ls /warehouse/tablespace/managed/hive/iceberg_test1
Found 2 items
drwx------+  - hive hadoop          0 2023-04-13 10:37 /warehouse/tablespace/managed/hive/iceberg_test1/data
drwx------+  - hive hadoop          0 2023-04-13 09:50 /warehouse/tablespace/managed/hive/iceberg_test1/metadata
[hdfs@bigdata-24-199 ~]$ hdfs dfs -ls /warehouse/tablespace/managed/hive/iceberg_test1/data
Found 2 items
-rw-rw----+  3 hive hadoop        404 2023-04-13 10:36 /warehouse/tablespace/managed/hive/iceberg_test1/data/00000-0-hive_20230413103536_153504ef-df11-4744-adf8-6148912f484d-job_1681281011930_0005-00001.parquet
-rw-rw----+  3 hive hadoop        404 2023-04-13 10:37 /warehouse/tablespace/managed/hive/iceberg_test1/data/00000-0-hive_20230413103726_6d188296-1ea0-453d-bc00-54f98cd97ee6-job_1681281011930_0005-00001.parquet
[hdfs@bigdata-24-199 ~]$ hdfs dfs -ls /warehouse/tablespace/managed/hive/iceberg_test1/metadata
Found 1 items
-rw-rw----+  3 hive hadoop       1359 2023-04-13 09:50 /warehouse/tablespace/managed/hive/iceberg_test1/metadata/00000-d21b6e4e-636a-45ec-a3a5-805a8b99ffc2.metadata.json
jast_zsh
关注
iceberg集成Hive
JustinMars的博客
02-28 1776
添加jar包 wget https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-hive-runtime/0.13.1/iceberg-hive-runtime-0.13.1.jar 方法1：放到hive的lib目录下 方法2：add jar /path/to/iceberg-hive-runtime-0.13.1.jar; 注册catalog SET iceberg.catalog.another_hive.type=hive; SET ice
Flink、Iceberg、Hive元数据互通性研究
None
10-09 1645
今日原则不需要任何人的理解或引导，自然选择的试错过程就能实现改进。我们进行的学习也是这个道理。至少有三种学习能促进进化：以记忆...
Iceberg 集成 Hive
雾岛与鲸的博客
03-10 2767
环境: hadoop 2.7.6 hive 2.3.7 iceberg 0.13.1 1、在 Hive 中启用 Iceberg 支持 在 https://iceberg.apache.org/releases/ 下载iceberg-hive-runtime-0.13.1.jar 将 iceberg-hive-runtime-0.13.1.jar和libfb303-0.9.3.jar移到hive lib目录下，配置hive-site.xml, 添加如下配置: <!-- iceberg配置 -->
实践数据湖iceberg 第八课 hive与iceberg集成
spark_dev的博客
01-20 8413
系列文章目录 实践数据湖iceberg 第一课 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceberg失败
Iceberg从入门到精通系列之二：Iceberg集成Hive
zhengzaifeidelushang的博客
06-22 2997
Hive的元数据服务是一种存储和管理Hive表格和数据定义的中央服务，它允许用户定义表格、分区和桶等元数据信息，并将其存储在Hive元数据存储库中。因此，内部表和外部表的主要区别在于数据和元数据的存储位置和管理方式。内部表由Hive管理数据和元数据，而外部表只由Hive管理元数据，实际的存储数据由外部数据源维护。其中，是HiveServer2服务所在的主机名，是HiveServer2服务监听的端口号，是连接的Hive数据库名，是连接的用户名，是连接的密码。在Hive中，内部表和外部表是两种不同的表格类型。
iceberg学习笔记（2）—— 与Hive集成
WHY的博客
11-20 2074
本文介绍了iceberg框架如何与hive进行集成
尚硅谷大数据技术之数据湖Iceberg-1.1.0.docx
03-06
### 冰山（Iceberg）数据湖技术概览 #### 1.1 冰山（Iceberg）简介 - **背景介绍**： - **开发背景**：为解决数据存储与计算引擎之间的适配问题，Netflix 发起了 Iceberg 项目。 - **发展历程**：Iceberg 在 ...
iceberg-hive-runtime-1.5.0.jar
06-05
iceberg-hive-runtime-1.5.0.jar
iceberg-hive-runtime-7f10407.jar
12-01
iceberg0.13 hive
iceberg-hive-runtime-0.11.0.jar
03-12
iceberg-hive-runtime-0.11.0.jar
iceberg-hive-runtime-1.3.1.jar
08-23
flink iceberg hive runtime 1.3.1
iceberg对比hive优势
bitcarmanlee的博客
08-02 4294
在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用parquet，orc等列存储数据格式。传统的流式数据入库的过程中对小文件进行合并会产生很多问题，比如流式数据不断的往hive表进行写入，如果同时有一个合并程序进行小文件的合并，那么这时候对同一份数据进行读写。当有实时指标计算的需求时，可以使用 flink 实时计算框架，来构建近实时数仓，而且iceberg 存储全量数据，且仍然有批计算能力，可以在流式计算作业运行的同时，跑一个批作业来进行数据回溯或者数据纠正。
关于Apache Hive 和 Apache Iceberg
qq_36634055的博客
07-16 761
Iceberg 是一种现代的表格格式，它帮助你管理数据湖中的数据，确保数据的质量，支持事务操作（如更新和删除），并优化数据的读取性能。Iceberg 使得数据湖中的数据可以像数据仓库中的数据一样被管理，提供了类似 ACID 特性的事务支持，同时保持了数据湖的灵活性和可扩展性。总的来说，Hive 和 Iceberg 可以协同工作，Hive 为用户提供了一个熟悉的 SQL 接口来访问和查询数据，而 Iceberg 则在底层提供更强大的数据管理和优化能力，使得大数据的处理更加高效和灵活。
hive 操作iceberg
zhangzhentiyes的博客
11-24 1500
Hive 操作 iceberg 入门示例
使用Hive3.1.2 + Iceberg0.13.1构建数据湖
Bulut0907
04-11 3274
目录1. Hive开启Iceberg的支持2. Catalog管理3. 表的创建和删除 1. Hive开启Iceberg的支持 Hive可以读写Iceberg的表 添加依赖jar包 [root@hive1 ~]# [root@hive1 ~]# wget https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-hive-runtime/0.13.1/iceberg-hive-runtime-0.13.1.jar [root@hive1
Iceberg（三）对接Flink
Yuan_CSDF的博客
01-20 2104
1、Flink基本操作 1.1、配置参数和jar包 Flink1.11开始就不在提供flink-shaded-hadoop-2-uber的支持，所以如果需要flink支持hadoop得配置环境变量HADOOP_CLASSPATH [root@hadoop1 flink-1.11.0]# vim bin/config.sh export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3 export HADOOP_HDFS_HOME=/opt/...
Hive集成Iceberg碰到的问题
最新发布
a760352276的博客
12-30 725
想基于尚硅谷的数仓的环境（完成了hadoop组件和hive的安装）做实时流的开发，于是在集成Iceberg的时候，就复用了原始的环境，但是在成功创建iceberg表，对其插入数据，执行MR的过程中报错了。而后，通过调整iceberg-runtime.jar的版本，也无济于事。于是在集成了iceberg的时候也采用了这种方式，并且配置文件也开启了iceberg的支持，但是执行MR就报错了。因为在之前数仓使用hive的时候，都是配置好Hive的环境变量，通过。通过网上查阅相关的资料，发现别人在执行的过程中。
[数据湖iceberg]-hive集成数据湖读取数据的正确姿势
HANG.NIAN
03-13 1252
Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
迷雾总会解
07-01 7537
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值