Flink 实战 - 7.大规模状态 ValueState IO 实践与优化

BIT_666

已于 2022-10-11 10:11:56 修改

阅读量1.2k

点赞数 11

分类专栏： Flink 成长之路 Scala 文章标签： flink 大数据 StateBackend RocksDBState

于 2022-08-30 18:02:16 首次发布

本文链接：https://blog.csdn.net/BIT_666/article/details/126600786

版权

Flink 成长之路同时被 2 个专栏收录

64 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Scala

150 篇文章

订阅专栏

本文探讨了Flink在使用ValueState + RocksDBStateBackend处理大规模状态时遇到的IO瓶颈问题。通过监控和分析，如iotop和iostat工具，识别了磁盘性能不足和负载不均匀等常见瓶颈。文章提出了负载均衡优化、调整TaskManager的localdir配置、切换到HashMapStateBackend等解决方案，以减少IO等待和提高吞吐量。最后，通过实际案例展示了优化效果，提升了任务运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.引言

工业场景下 Flink 经常使用 ValueState + RocksDBStateBackend 的组合，针对不断增大的 ValueState 或者数量过大的 ValueState，RocksDBStateBackend 使用了 TaskManager 所在机器的本地目录，从而突破 JVM Heap 的限制，满足了大量 ValueState 存储的场景，下面介绍大状态下 ValueState 的实践与优化。

二.ValueState + RocksDB 组合

1.IO 瓶颈

RocksDBStateBackend 使用了 TaskManager 本地目录，突破 JVM 限制实现了大规模状态的存储，但由于 RocksDB 的 JNI 序列化 API 基于 Byte[]，因此每次获取状态都需要进行序列化与反序列化的操作，这使得 EmbeddedRocksDBStateBackend 不适应频繁大规模更新状态的作业，因为磁盘的 IO 会限制状态读取的性能:

了解本专栏