数据湖管理篇之Apache Iceberg

最新推荐文章于 2025-05-16 11:14:02 发布
最新推荐文章于 2025-05-16 11:14:02 发布
阅读量1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据技术栈 文章标签： 数据湖 大数据 Apache Iceberg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanggqianglovec/article/details/115690146
Apache Iceberg是一个开源的数据湖解决方案，提供大规模表的高性能分析，支持原子提交和并发读写。它在Parquet、Avro或ORC等文件格式上实现表语义，允许灵活的schema管理和partition操作。集成Flink和Spark，提供流式和离线分析能力，同时具备高并发写入的乐观锁机制。学习资源包括多个B站视频教程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一. 简介

开源的，大规模表数据分析，高性能分析，原子提交，并发读写，

二. 核心

在文件format(parquet/avro/orc)之上实现table语义
支持定义和变更schema
支持hidden partition 和partition变更
acid语义
历史版本回溯

1. 特点

借助partition和columns统计信息实现分区裁剪
不绑定hdfs，可扩展s3/oss
容并发writer，乐观锁机制解决冲突

2. 架构

3. Flink 的集成

Flink Streaming Reader
Flink Offline Analysis

4. Spark 的集成

Spark Streaming Reader

三. 其他

1. 学习

https://www.bilibili.com/video/BV1TT4y1N7fP?from=search&seid=18072671913625549551
https://www.bilibili.com/video/BV14A411J7e6?p=4

https://www.bilibili.com/video/BV14A411J7e6?from=search&seid=18072671913625549551

数据湖与数据仓库融合：Hudi、Iceberg、Delta Lake 实践对比
晴天彩虹雨的博客
05-17 610
在数据湖与数据仓库边界不断融合的背景下，企业越来越多地采用如Hudi、Iceberg、DeltaLake等开源方案，以实现统一的数据存储、计算和分析平台。这些方案在实时写入能力、ACID保证、增量数据处理、流批一体、Schema演进等方面展现出独特优势。本文详细对比了Apache Hudi、Apache Iceberg和DeltaLake这三大主流开源方案的主要特性，包括写入模式、并发写支持、实时查询、事务支持、Schema进化、引擎兼容性及Metadata管理。此外，文章还提供了典型应用场景的推荐方案、性
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之IceBerg篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1161
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Apache Iceberg详解
weixin_59295776的博客
10-31 554
Iceberg是一个通用的表格式（数据组织格式），它可以适配Presto，Spark等引擎，提供高性能的读写和元数据管理功能。是介于计算引擎（Flink , Spark）和存储格式（ORC，Parqurt，Avro）中间的数据组织格式，通过特定的方式将数据和元数据组织起来。在文件Format（parquet/avro/orc等）之上实现Table语义：ACID语义支持定义和变更Schema支持Hidden Partition和Partition变更历史版本回溯。
Apache Iceberg简介
wang2leee的博客
10-12 448
Apache Iceberg是用于大型分析数据集的开放表格格式。Iceberg通过使用高性能的表格格式，将表格添加到Spark、Trino、PrestoDB、Flink、Hive和Impala等计算引擎中，就像操作SQL表格一样。
Hudi、Iceberg 、 Paimon 数据湖选型对比
最新发布
LXP
05-16 1437
Hudi、Iceberg 和 Paimon 是当前数据湖领域的三大主流开源框架，均致力于解决数据湖场景下的等核心问题，但设计理念和适用场景存在差异。
Apache Iceberg 概述
喻师傅的学习笔记
09-23 2558
Iceberg 概述
关于Apache Iceberg
qq_36634055的博客
07-16 1582
Apache Iceberg就像是一座冰山下的宝藏，它让数据湖变得更智能、更高效、更易于管理，同时也让数据分析师和工程师能够更轻松地处理和分析大规模数据。拓展：表格式当我们说“表格式”（Table Format）的时候，我们指的是数据在存储系统中的一种结构化布局方式。在计算机科学和数据库领域，表格是存储数据的一种常见形式，它将数据组织成行和列的结构，每一行代表一条记录，每一列代表一种属性或字段。现在，用大白话来解释，“表格式”就像你在Excel电子表格软件中看到的那种数据布局。
数据湖YYDS！ Flink+IceBerg实时数据湖实践
微信搜：import_bigdata，大数据领域硬核原创作者
10-12 1581
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要...
数据湖：Apache Iceberg在腾讯的探索和实践
学而知之@的博客
06-17 829
摘要：今天分享的是Apache Iceberg在腾讯内部的探索和实践。本文结合腾讯大数据技术分享内容和2020全球软件开发大会分享内容进行整理，主要内容包括：1、数据湖技术概述...
Apache Iceberg Research
yisuoyanyv的博客
06-01 1264
Apache iceberg 的感性认知，架构，业务，特性，优点
Apache iceberg：Netflix 数据仓库的基石
02-23
Apache Iceberg 是一种用于跟踪超大规模表的新格式，是专门为对象存储（如S3）而设计的。 本文将介绍为什么 Netflix 需要构建 Iceberg，Apache Iceberg 的高层次设计，并会介绍那些能够更好地解决查询性能问题的细节。
Apache Iceberg快速入门
mojolang
02-08 1291
导言 本文主要介绍如何快速的通过Spark访问Iceberg table。 Spark通过DataSource和DataFrame API访问Iceberg table，或者进行Catalog相关的操作。由于Spark Data Source V2 API还在持续的演进和修改中，所以Iceberg在不同的Spark版本中的使用方式有所不同。 版本对比 功能 Spark 2.4 Spark 3.0 基于DataFrame - 读数据 支持 支持 -
Apache Iceberg 是什么？
Shockang的博客
09-13 2448
Apache Iceberg 是一种用于庞大分析数据集的开放表格式，Iceberg 使用类似于 SQL 表的高性能表格式为计算引擎添加了表，包括 Spark、Trino、PrestoDB、Flink、Hive 和 Impala。
与 ClickHouse 一起攀登冰山(Apache Iceberg)
ClickHouseDB的博客
03-02 905
本文字数：8411；估计阅读时间：22 分钟作者： Melvyn Peignon本文在公众号【ClickHouseInc】首发回顾 2024 年，有一项技术始终引人注目：Apache Iceberg，更广义地说，是湖仓架构。
Apache Iceberg分享
美丽的毛毛草
03-30 4492
apache IcebergApache Iceberg分享1. Iceberg概念与原理1.1 大数据的趋势1.2 Apache Iceberg的原理1.2.1 Iceberg原理简介1.2.2 Iceberg简介1.2.3 Iceberg中常用术语1.2.4 Iceberg优化点2. Iceberg实战2.1 安装2.2 读流程2.3 写流程 Apache Iceberg分享 1. Iceberg概念与原理 1.1 大数据的趋势 当前大数据发展的三大趋势： 数据仓库往数据湖方向发展 批处理往流式处理
StarRocks Lakehouse 快速入门——Apache Iceberg
StarRocks的博客
09-06 1761
Apache Iceberg 是一种为大规模、复杂数据集设计的开源表格式，这些数据集跨越了 PB 级别的数据。最初作为 Netflix 管理海量表的解决方案，于 2018 年在 Apache 孵化器下开源，并在 2020 年毕业。Apache Iceberg 作为一种复杂的开放表格式，位于计算引擎（如 Flink 和 Spark）和存储格式（如 ORC、Parquet 和 Avro）之间。它作为一个中间件层，抽象了底层数据存储格式的复杂性，并向计算框架上层提供了统一的表格语义。
Apache Iceberg Architecture—Iceberg 架构详解
喻师傅的学习笔记
09-24 3828
Apache Iceberg 的架构可以分为三个主要层次：Iceberg Catalog、元数据层和数据层。
iceberg-apache 简单操作
mhbsoft的博客
11-09 1080
切换spark版本，本例子使用 spark2.4.5 source change_spark_version spark-2.4.5.0 spark-shell //进入 scala> 创建表 import org.apache.iceberg.catalog.Tabicedentifier import org.apache.iceberg.spark.SparkSchemaUtil import org.apache.iceberg.hive.HiveCatalog; import org
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Freedom3568

技术域不存在英雄主义，不进则退

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值