MCpang的博客

1、问题背景为保障系统大促期间稳定运行，计划进行全链路生产压测。2、问题现象1》压测期间产生大量事后数据流向flink实时计算环节，flink任务消费的kafka出现堆积而产生告警。2》通过flink监控平台查看日志发现flink任务频繁重启失败，checkpoint save失败。3》通过kafka平台监控发现，flink任务连接kafka的连接数不断攀升，即kafka连接泄漏。4》短时间内所有flink任务都出现频繁的重启失败，导致kafka集群夯住，最终kafka集群挂了。