大数据Flink（七十六）：SQL的渐进式窗口（CUMULATE）

最新推荐文章于 2025-03-17 21:40:01 发布
最新推荐文章于 2025-03-17 21:40:01 发布
阅读量1.3k 收藏 6
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 大数据入门核心技术 # Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/132791530
本文介绍了Flink中的渐进式窗口（CUMULATE）概念，它是一种结合滚动窗口的事件时间处理方式，用于周期内累计指标如PV、UV。通过举例和SQL语法解析，阐述了CUMULATE窗口的使用和应用场景，并展示了其在流处理和批处理模式下的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

SQL的渐进式窗口（CUMULATE）

SQL的渐进式窗口（CUMULATE）

渐进式窗口定义：渐进式窗口在其实就是 固定窗口间隔内提前触发的的滚动窗口，其实就是 Tumble Window + early-fire 的一个事件时间的版本。

例如，从每日零点到当前这一分钟绘制累积 UV，其中 10:00 时的 UV 表示从 00:00 到 10:00 的 UV 总数。

渐进式窗口可以认为是首先开一个最大窗口大小的滚动窗口，然后根据用户设置的触发的时间间隔将这个滚动窗口拆分为多个窗口，这些窗口具有相同的窗口起点和不同的窗口终点。如下图所示：

了解本专栏 订阅专栏 解锁全文
大数据Flink（八十四）：SQL语法的DML：窗口聚合
Lansonli（蓝深李）的博客
09-20 837
由于窗口涉及到的知识内容比较多，先为大家说明介绍下面内容时的思路，大家跟着思路走。首先来看看 Flink SQL 中支持的 4 种窗口的运算。
大数据Flink（一百一十七）：Flink SQL的窗口操作
Lansonli（蓝深李）的博客
09-12 1770
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
flink sql 知其所以然（十）：大家都用 cumulate window 计算累计指标啦
qq_34608620的博客
11-21 4022
想啥呢，小宝贝，还不三连？？？（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇源码公众号后台回复1.13.2 cumulate window 的奇妙解析之路获取。此节就是窗口聚合章节的第三篇，上节介绍了 1.13 window tvf tumble window 实现，本节主要介绍 1.13. window tvf 的一个重磅更新，即 cumulate window。本节从以下几个章节给大家详细介绍 cumulate window 的能
flinkSql中累计窗口CUMULATE
weixin_52642840的博客
12-05 530
flinkSql中累积窗口的使用和一个topN案例
万字详述 Flink SQL 4 种时间窗口语义！（收藏）
数据一哥，公众号：数据社
06-01 9709
DML：窗口聚合大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口首先来看看 Flink SQL 中支持的 4 种窗口的运算。⭐ 滚动窗口（TUMBLE）⭐ ...
Flink系列--cumulate累计窗口的使用
似水_逆行的博客
08-23 778
Flink系列--cumulate累计窗口的使用
Flink系列--使用Flink cumulate累计窗口按照temperal join 聚合实时还款和借款以及余额总值
似水_逆行的博客
08-23 869
Flink系列--使用Flink cumulate累计窗口按照temperal join 聚合实时还款和借款以及余额总值
FLINK SQL语法(1)
王小工小工历程
10-14 1949
Flink SQL Connector是一种用于在Flink SQL与外部数据源或数据汇之间建立连接的插件。它允许Flink SQL从外部数据源读取数据，并将处理后的数据写入到外部数据汇中。通过Connector，Flink SQL能够轻松实现对各种类型数据的实时处理和分析。在某些特殊情况下，用户可能需要自定义Connector来满足特定的需求。Flink提供了丰富的API和工具来支持用户自定义Connector。自定义Connector通常涉及以下几个步骤：1.定义Connector的工厂类。
Flink SQL
awonima的博客
03-11 466
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
Flink的窗口机制
sijiwang95的博客
04-11 2199
tumble（滚动窗口）hop（滑动窗口）session（会话窗口）cumulate（渐进式窗口）Over（聚合窗口）
flink1.14.1 中CUMULATE 窗口的案例
liumingning的专栏
03-02 700
适用于按天统计的情况。CUMULATE 窗口是指累计窗口。
flink cumulate window 累计窗口对迟到数据的处理
yy的博客
07-10 1986
例如 window 1 2 3是个累计窗口的同一个大窗口内部的多次累计. 比如一个数据相对于window1来说是迟到数据,自然不会计算到window1统计结果,但是当触发window2的时候,就会把window1之前迟到的统计进去. 你会问这不是废话么. 核心是window2会复用window1的统计结果,即window2并不是把他内部都计算一遍,而是在window1统计结果上累加后续数据(window1和2之间的数据). 所以window1的迟到数据这时候时间段不属于1到2之间,但是依然需...
Flink SQL窗口（TUMBLE、HOP、SESSION、CUMULATE、OVER）
最新发布
weixin_45322869的博客
03-17 1038
Flink SQL窗口需要有时间，时间是为窗口服务的。Flink建表语句。
iceberg-flink 八：累积窗口使用。（CUMULATE）
weixin_43446246的博客
11-23 2602
CUMULATE flink iceberg
FlinkSql系列1之窗口聚合
feiyangailing的博客
03-29 2065
FlinkSql之窗口聚合 文章目录FlinkSql之窗口聚合前言一、窗口聚合的分类二、窗口实际案例与实践2.1.滚动窗口（TUMBLE）group window aggregationwindow tvf方案（只支持Streaming）2. 2.测试运行2.3 滑动窗口（HOP）group window aggregationwindow tvf方案2.4 测试结果2.5 Session窗口（Session）2.6 测试结果2.7 渐进式窗口（CUMULATE）2.8 测试结果总结 前言 使用flink
Flink1.13 cumulate window 累加窗口的使用
留歌__36的博客
04-02 7533
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.datastream.SingleOu.
Flink之SQL查询操作
积跬步，至千里。
11-10 1392
Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。
Flink SQL 在快手的扩展和实践
Ververica的博客
02-09 1360
▼ 关注「ApacheFlink」，看更多大咖▼摘要：本文整理自快手实时计算团队技术专家张静、张芒在 Flink Forward Asia 2021 的分享。主要内容包括：Flink S...
Flink SQL中窗口和水印触发机制
XuXuemin的专栏
06-30 1032
Flink SQL的窗口函数介绍和使用。水印无法触发的解决办法
Flink Table & SQL：流批统一的高效声明式API
Flink Table API 和 SQL 是 Flink 平台中不可或缺的部分，它们提供了高效、易用且强大的数据处理能力，适应了大数据时代对实时分析和处理的需求。随着 Flink 社区的持续发展和优化，Table API 和 SQL 将继续成为数据...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值