关于flink:Flink集群有哪些角色各自有什么作用

50次阅读

共计 490 个字符,预计需要花费 2 分钟才能阅读完成。

flink 集群有 jobmanager、taskmanager、client 三个角色。
jobmanager
作用:
1. 负责接管 flink job,将 JobGraph 转换成 ExecutionGraph,最终将 Execution Graph 拿来运行
2. 负责管理 taskmanager
3. 负责协调 checkpoint
4. 负责 failover 故障复原
组件:
1.Actor system,负责跟 taskmanager 之间同行

  1. scheduler,负责 task 任务调度
  2. 3.Checkpoint Coordinator,负责协调整个 checkpoint 的过程
    taskmanager
    作用:
    1. 负责执行计算工作的节点,每个 taskmanager 负责管理其所在节点的资源信息,如︰内存、磁盘、网络,在启动时向 jobmanager 汇报
    组件:
    1.Memory & 1/O Manager,即内存 I / O 的治理
    2.Network Manager,用来对网络方面进行治理
    3.Actor system,用来负责网络的通信
    client
    1. 负责将 flink job 提交给 jobmanager
    理解更多大数据面试题欢送关注小编大数据培训专栏内容!
正文完
 0