flink kafka 实现如下功能

最新推荐文章于 2025-03-04 19:48:47 发布

科学的N次方

最新推荐文章于 2025-03-04 19:48:47 发布

阅读量950

点赞数

分类专栏：数据仓库技术体系文章标签： flink sql kafka

本文链接：https://blog.csdn.net/chenshijie2011/article/details/121599022

版权

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文展示了如何利用Flink从Kafka topic中读取订单数据，并通过SQL实现数据处理，包括按ord_id去重保留最新记录，以及基于时间窗口的聚合计算，最后将结果写入指定表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 ）一个kafka的topic order
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:32:24”,“total_fee”:25}
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:32:55”,“total_fee”:25}
{“ord_id”:“1”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:35:14”,“total_fee”:25}
{“ord_id”:“2”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:36:51”,“total_fee”:48}
{“ord_id”:“2”,“city_id”:“300100”,“submit_time”:“2021-11-25 11:37:55”,“total_fee”:48}
{“ord_id”:“3”,“city_id”:“300200”,“submit_time”:“2021-11-25 11:38:57”,“total_fee”:35}

2）按key取最新1条后的结果集 order_unique_view
select * from order_unique_view
;
ord_id city_id submit_time total_fee
1 300100 2021-11-25 11:35:14 25
2 300100 2021-11-25 11:37:55 48