Flink消费Kafka数据积压排查解决

0、背景

有个Flink任务每天不定时会出现数据积压，无论是白天还是数据量很少的夜里，且积压的数据量会越来越多，得不到缓解，只能每日在积压告警后重启，重启之后消费能力一点毛病没有，积压迅速缓解，然而问题会周而复始的出现，无论是周末还是节假日忍不了。

一、现象

 1：当积压时，最明显的是kafka积压不断升高

2. Flink ProcessFunction（主要处理逻辑）中多个代码块处理时间变长：

为了定位问题，在processFunction多个代码块加了处理时间的计算，结果发现，无论是简单的json处理部分还是与外部Redis，Mysql交互部分，都会有执行时间久的记录，另外这个任务Sink的地方是神策接口，接口设置的有超时时间，所以也会看到很多Sink TimeOut的记录。

 二、解决过程

2.1 排查过程

1.调整读取kafka消息数量：

ConsumerConfig.MAX_POLL_RECORDS_CONFIG,"300"

 2.调整Sink端接口的超时时间等

3. 调整任务资源

上面三个调整，前面两个没啥用，后面这个任务由原来一天一次不定时积压变成了2-3天积压。

 虽然调整问题有所改善，但是还得找到真正的原因彻底解决，后面发现，当任务积压时，TaskManager