超级会员免费看
在IntelliJ IDEA中使用Flink处理Kafka数据并写入MySQL时遇到问题，任务反复消费Kafka数据。原因是jdbc连接在任务结束时被关闭，导致重新消费。Flink的open和close方法分别在任务开始和结束时调用，close方法执行意味着任务失败。通过本地Flink UI观察，任务不断重启，JobManager出现异常。
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。 重新消费，jdbc连接又启动了。
注意，在Flink的函数中，open和close方法只在任务启动和结束的时候执行一次。反之，可以推理出，如果close方法被执行了，那么说明任务挂了。
在本地任务中增加本地Flink UI，很明显可以看到任务在不断的重启。JobManager中有明显的Exception，就是
SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
