本文详细阐述了Flink中进程间的通讯机制，包括JobManager与TaskManager间的Akka通讯，以及Actor模型的使用。重点讲解了Actor系统、异步消息处理、Akka的tell和ask通信方式，以及RpcGateway在JobManager与TaskManager服务器间的角色和RpcService/RpcServer的实现与高可用性。
主要指三个进程中的通讯
- CliFrontend
- YarnJobClusterEntrypoint
- TaskExecutorRunner
Flink内部节点之间的通讯使用Akka，比如JobManager和TaskManager之间。而operator之间的数据传输是利用Netty。
RPC是统称，Akka，Netty是实现
Akka与Actor模型
Actor（演员）模型，每个actor有一个mailbox来收发消息，每个actor都是一个单一的线程。
Actor系统(ActorSystem)：相当于部门，系统里有线程池，多个actor系统可以在一台机器上共存。
Flink中的Actor
Flink系统由3个分布式组件组成：JobClient、JobManager和TaskManager。
异步消息、异步响应：Futures ：Java JUC
与Actor通讯
Akka两种核心异步通讯方式：tell和ask。
-
tell跟你说一下就完了
-
ask可以获取到响应结果
RPC
RpcGateway
JobManger连接TaskManager里的Server，返回给JobManager一个Gateway
RpcEndpoint
RpcService与RpcServer
RpcService接口：实现：AkkaRpcService
RpcServer，由RpcService启动得到，RpcServer是self gateway(自身的网关：调用自己的方法，接收网关的请求)，区别与访问其他节点的gateway
RpcServer接口两个实现
- AkkaInvocationHandler
- FencedAkkaInvocationHandler：高可用，Fenced栅栏
RpcEndpoint的start方法调用的是RpcServer的start
通讯流程
扫一扫
316
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
