Flink / Scala 实战 - 20.keyBy 后 window 数据倾斜实战

最新推荐文章于 2024-07-01 02:25:02 发布
最新推荐文章于 2024-07-01 02:25:02 发布
阅读量293 收藏 1
点赞数 2
分类专栏： Flink 成长之路 文章标签： scala flink 数据倾斜 keyBy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BIT_666/article/details/129524129
版权
本文深入探讨了Flink中keyBy操作后数据倾斜的实战问题，通过模拟数据倾斜任务，分析倾斜原因，并提出负载均衡的解决方案，包括调整数据源的分布、增加key的范围、添加随机值等策略，以实现窗口数据的均匀分配。文章还提供了本地任务与WebUI监控的实现方法，帮助开发者更好地理解和处理数据倾斜问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一.引言

二.Flink 本地任务 + 本地 WebUI 监控实现

1.本地 WebUI 监控实现

2.本地模拟数据倾斜任务实现

2.1 数据源 Source

2.2 keyedStream + Window

2.3 WebUI 启动

三.数据倾斜实战

1.构建倾斜数据

2.keyBy 倾斜分析

3.负载均衡思路

4.负载均衡实践

5.更常见的倾斜处理情况

6.思路拓展

四.总结

一.引言

上一篇文章介绍了 DataStream keyBy 生成 KeyedStream 的原理，这篇文章趁热打铁解决一下实战场景下经常遇到的数据倾斜示例，对于原始数据源就不均匀的情况，通过 reblacne 即可解决，本文主要解决 keyBy 后使用 window 的数据倾斜场景并给出更加通用的方法判断自己数据的倾斜程度。

二.Flink 本地任务 + 本地 WebUI 监控实现

为了方便任务观察 window 下 subtask 的处理数据量，我们采用 Flink 本地提交 + URL 的模式，如果在实战中想要查看官方的统计监控，也可以参考 Flink/Scala Metrics 使用与详解，这样具体的数据在 Flink 监控 UI 中就可以看到。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink实战系列】Flink发生数据倾斜怎么优化任务?(两段聚合的方式)
JasonLee实时计算
04-16 3112
在Flink实时计算的任务中,一个最常见的场景就是分组聚合,但是当key数量很少的时候就会发生数据倾斜,最近的一个任务就出现了这个问题,造成的结果就是反压,这个时候增加并发度是没有用的,因为key的个数没有变,还会造成ck超时失败. 我为了简化整个过程,写了一个测试的demo,数据倾斜的表现如下: 上面图中显示只有一个key,key的数量远远小于并发实例的个数,所以只有一个并发在工作,其...
flink实战--flink面试题大全
阿华田的博客
12-30 1226
第一部分：Flink 中的核心概念和基础考察 一、 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Fl...
Flink keyBy 下游算子数据接收不均衡问题
qq_38439417的博客
10-19 742
Flink keyBy 下游算子数据接收不均衡问题
flink 四、flink流处理
weixin_43761300的博客
08-30 384
Flink流处理的Source 基于集合 基于文件 基于Socket 使用Kafka作为数据源 使用MySql作为数据源 自定义数据源 flink基于文件流或集合 object TextStream { def main(args: Array[String]): Unit = { val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment envir
scala入门4-集合
瑞瑞的博客
11-23 232
基于Java学习scala集合1、简介2、集合基础api1.不可变数组Array2.可变数组3.不可变List4.可变ListBuffer5、不可变set6、可变set7、元组 集合 1、简介 集合有三大类序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质。 对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包 不可变集合：scala.collection.immutable （这个默认导入，修改时会生成新的集合，不会对原有集合进行修改） 可变集合
完美解决keyby造成的数据倾斜导致吞吐量降低的问题
第一片心意的博客
01-02 1532
1. 问题现象 最近在做一个类似页面pv的累加统计，根据页面id维度来统计一段时间内收到了数据。 下面模拟的是处理数据的原始程序。 2. 原始处理 2.1.模拟kafka源 import org.apache.flink.streaming.api.functions.source.SourceFunction import scala.util.Random /** * 每1毫秒发出一个二元组，第一个元素为随机获取到numbers中的一个数字，第二个...
第三篇|Flink DataStream API编程指南
wr_java的博客
04-01 379
本文首先实现了自定义MySQL Source，然后基于MySql 的Source进行了一系列的算子操作，并对常见的算子操作进行详细剖析，最后实现了一个自定义MySQL Sink，并对RichFunction进行了解释。代码地址作者：大数据技术与数仓链接：https://juejin.cn/post/6857499033612845063来源：稀土掘金著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 1404
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
flink学习资料（包含网盘视频地址）
02-27
8. **实时数据处理**：讨论实时数据处理的挑战，如延迟、数据倾斜以及如何在Flink中解决这些问题。 9. **案例研究**：通过实际项目案例，学习如何设计和实现一个完整的Flink流处理应用，例如实时日志分析、用户行为...
（转载）Spark算子：RDD键值转换操作(3)–groupBy、keyBy、groupByKey、reduceByKey、reduceByKeyLocally
moose_killer的博客
03-17 1298
groupBy groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组 def main(args: Array[String]): Unit = { //默认分区12个 val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test").set("spark.default.parallelism", "12")) var rdd1 = sc.
Flink-Scala版学习——转换算子
雷神乐乐的博客
04-20 866
Flink-Scala版学习——转换算子
Flink学习19：算子介绍keyBy
hzp666的博客
08-10 4232
主要作用：把相同的数据，汇总到相同的分区中。
spark学习12之利用keyBy对数据中其中两项进行排序
Keep Learning
05-19 7063
更多代码请见：https://github.com/xubo245/SparkLearning1解释 由于有时候数据的列数很多，不只是按一项作为key来排序，有时候需要对其中两项进行排序，spark的RDD提供了keyBy的方法。使用场景例子为： init: (ab,2,3) (ac,4,100) (bb,1,200) (ac,1,1) (bb,2,5)sort: (ab,2,3)
Scala学习(二)groupByKey和reduceByKey
哆啦咪~fo
03-18 1万+
大数据处理中有一个典型的例子WordCount,类似与Hello World的作用，map阶段主要是将单词转换为(word,1)的形式，在reduce阶段则是将Key值相同的1累加求和，最终得到的结果就是单词的count数。假设map的结果为(word,(m,n))如果按照key值将对应的列累加起来呢？比如经过map的数据集是这样的("happy",1,3),("hello",2,6),("hap...
Flink状态后端keyby之后-Java版
qq_43159264的博客
09-11 535
说明：keyby分组后的每个分组管理一个自己的状态后端 // 富函数初始化状态后端 public static class ValueStateFlatMap extends RichFlatMapFunction<JSONObject,JSONObject> { public transient ValueState<String> preValueFault; @Override public void open(
Flink中对keyBy的探究
热门推荐
dinghua_xuexi的专栏
08-01 2万+
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，...
Apache Flink 零基础入门（七）Flink中keyBy三种方式指定key
chikoucha6215的博客
08-29 2871
keyBy 如何指定key 不管是stream还是batch处理，都有一个keyBy(stream)和groupBy(batch)操作。那么该如何指定key？ Some transformations (join, coGroup, keyBy, groupBy) require ...
Flink keyby 数据倾斜问题处理
jast
04-05 1万+
上一篇我们使用keyby后发现数据严重倾斜 https://blog.csdn.net/zhangshenghang/article/details/105316728 大概看下问题所在，大量数据在一个subtask中运行 这里我们使用两阶段keyby解决该问题 之前的问题如下图所示 我们期望的是 但我们的需要根据key进行聚合统计，那么把相同的key放在不同的sub...
scala交互式操作 reduceByKey mapValues
shuangshaung_的博客
12-13 8366
scala> val c = sc.parallelize(List("aaa","b","b","c")) c: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[8] at parallelize at :21 //做一个映射 scala> c.map(x => (x,x.length)) res7: org.ap
networks:  net:    external: trueservices:  jobmanager1:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager1    hostname: jobmanager1    ports:     - '8081:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net  jobmanager2:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager2    hostname: jobmanager2    ports:     - '8082:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1  taskmanager1:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager1    hostname: taskmanager1    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager2:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager2    hostname: taskmanager2    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager3:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager3    hostname: taskmanager3    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager3.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2
最新发布
04-04
- ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ - ./scripts/start.sh:/start.sh taskmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT_666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值