数据湖（十九）：SQL API 读取Kafka数据实时写入Iceberg表

Lansonli

于 2022-07-15 09:41:30 发布

阅读量1.1k

点赞数 13

CC 4.0 BY-SA版权

分类专栏：数据湖基础+湖仓一体电商项目文章标签： java 数据库大数据数据湖

本文链接：https://blog.csdn.net/xiaoweite1/article/details/125797438

数据湖基础+湖仓一体电商项目专栏收录该内容

45 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了如何通过SQL API从Kafka实时读取数据并写入到Iceberg表中。首先创建Iceberg表，然后编写代码实现数据同步。在运行代码后，观察到数据成功写入HDFS目录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

SQL API 读取Kafka数据实时写入Iceberg表

一、首先需要创建对应的Iceberg表

二、编写代码读取Kafka数据实时写入Iceberg

SQL API 读取Kafka数据实时写入Iceberg表

从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：

一、首先需要创建对应的Iceberg表

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tblEnv = StreamTableEnvironment.create(env);
env.enableCheckpointing(1000);
//1.创建Catalog
tblEnv.executeSql("CREATE CATALOG hadoop_iceberg WITH (" +
        "'type'='iceberg'," +
        "'catalog-type'='hadoop'," +
        "'warehouse'='hdfs://mycluster/flin

了解本专栏