cuichunchi的博客

实时维表关联

flink 对接kafka avro

默认情况下，当watermark通过end-of-window之后，再有之前的数据到达时，这些数据会被删除。 为了避免有些迟到的数据被删除，因此产生了allowedLateness的概念。 简单来讲，allowedLateness就是针对event time而言，对于watermark超过end-of-window之后，还允许有一段时间（也是以event time来衡量）来等待之前的数据到达，以便再次处理这些数据 默认情况下，如果不指定allowedLateness，其值是0，即对于watermark

代码如下： package com.cuichunchi.watermark; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.MapFunction; import org.apac

Flink Sort-Shuffle 实现简介sort-shuffle 使得 Flink 在应对大规模批数据处理任务时更加游刃有余。https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ==&mid=2247494455&idx=1&sn=7de90d250794ea095847d82d02b8dc30&chksm=fd386575ca4fec634aae8b3d8567c60e3b9ab95d7c1d492c07a63bed0fc9e

问题： 1、使用flink mysql cdc 发现bigint unsigned类型的字段，capture以后转成了字符串类型，用的这个解析吧JsonDebeziumDeserializationSchema。 解决：在设置debeziumProperties方法里传入以下参数： properties.setProperty("bigint.unsigned.handling.mode","long"); properties.setProperty("decimal.handling.mode"

持续更新... 网络通信： akka.ask.timeout：用于异步futures和阻塞调用Akka的超时，如果flink因为超时而失败，则可以尝试增加此值，超时可能是由于机器速度慢或网络拥挤造成的。超时值需要时间单位说明符（ms/s/min/h/d）。源码默认值：10s。所属源码类：AkkaOptions。 akka.tcp.timeout：用于和taskManager之间的通信，如果由于网络速度较慢而在连接TaskManager时遇到问题，则应增加此值。默认值：20s。源码类：A