线上Kafka频繁出现分区Leader重新选举问题，导致Spark程序异常。通过调整Zookeeper会话超时时间、副本获取最大字节数等参数后，系统恢复正常运行。
线上kafka出现频繁的分区leader重新选举，spark程序中加的重试参数好像又没生效，导致流程异常，后来进行一些参数调优之后恢复正常。()内为默认值
zookeeper.session.timeout.ms=30s(6s)
replica.fetch.max.bytes=5M(1M)
replica.lag.time.max.ms=30s(10s)
min.insync.replicas=1
num.replica.fetchers=6
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
