超级会员免费看
本文介绍了在Flink程序中遇到的checkpoint失败问题，原因是File Source在处理完固定文件后切换到Finished状态。通过分析发现，设置readFile的watchType为PROCESS_ONCE导致了这个问题。解决方案是将watchType改为PROCESS_CONTINUOUSLY，并调整interval参数以保持Source File的Running状态。此外，还解决了因文件重新扫描导致的WaterMark丢失问题，调整interval参数避免任务停滞。
一.引言
Flink 程序增加 readFile 生成文件流后，最初运行期间 CheckPoint 存储没有问题，待文件流 Finished 后 CheckPoint 存储报错: checkpoint Failure reason: Not all required tasks are currently running，下面分析并解决下。
二.错误分析与解决
1.问题排查
Flink 场景下实现多流 uinon 并存储 ValueState，除了实时流的内容外，还需要将一个固定文件的内容进行 union 处理，所以出现如下 Overview:
最左边的 Source: Custom File Source 就是单独增加的文件流，由于是固定文件且逻辑简单，所以执行开始时 Busy 打的比较高，在此期间查看 RockerDB 指定 path 下存储的 chk 是没有问题的。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
