共计 7998 个字符，预计需要花费 20 分钟才能阅读完成。
团体对于 Blink 的相干应用文档曾经非常齐全，这里不筹备再过多赘述。这篇文章筹备对 Blink 所基于的 Apache 社区开源产品 –Flink 的架构做一些通俗剖析。
一：Flink 历史、根本架构及分布式部署
历史
Flink 我的项目最早开始于 2010 年由柏林技术大学、柏林洪堡大学、哈索普拉特纳研究所独特单干研发的 ”Stratosphere: Information Management on the Cloud”(平流层：云上的信息管理) 我的项目，Flink 最开始是作为该我的项目一个分布式执行引擎的 Fork，到 2014 年成为 Apache 基金会下的一个我的项目，2014 年底成为 Apache 顶级我的项目。每年一次的 Flink Forward 是对于 Apache Flink 最隆重的年度会议。
根本架构
Flink 是原生的流解决零碎，提供 high level 的 API。Flink 也提供 API 来像 Spark 一样进行批处理，但两者解决的根底是齐全不同的。Flink 把批处理当作流解决中的一种非凡状况。在 Flink 中，所有的数据都看作流，是一种很好的形象，因为这更靠近于事实世界。
Flink 的根本架构图
Flink 的次要架构与 Spark 靠近，都基于 Master-Slave 的主从模式，从执行程序上讲：
1：集群启动，启动 JobManager 和多个 TaskManager；
2：Flink Program 程序提交代码，经由优化器 / 工作图生成器，生成理论需执行的 Job，传递至 Client；
3：Client 将 submit 提交工作 (实质上是发送蕴含了工作信息的数据流) 至 JobManager；
4：JobManager 散发工作到各个真正执行计算工作的 Worker—-TaskManager；
5：TaskManager 开始执行计算工作，并且定时汇报心跳信息和统计信息给 JobManager，TaskManager 之间则以流的模式进行数据传输；
在以上步骤中，步骤 2 与 Flink 集群之间能够不存在归属关系，即咱们能够在任何机器上提交作业，只有它与 JobManager 相通。Job 提交之后，Client 甚至能够间接完结过程，都不会影响工作在分布式集群的执行。
Client:
当用户提交一个 Flink 程序时，会首先创立一个 Client，该 Client 首先会对用户提交的 Flink 程序进行预处理，并提交到 Flink 集群中解决，所以 Client 须要从用户提交的 Flink 程序配置中获取 JobManager 的地址，并建设到 JobManager 的连贯，将 Flink Job 提交给 JobManager。Client 会将用户提交的 Flink 程序组装一个 JobGraph，并且是以 JobGraph 的模式提交的。一个 JobGraph 是一个 Flink Dataflow，它由多个 JobVertex 组成的 DAG。所以，一个 JobGraph 蕴含了一个 Flink 程序的如下信息：JobID、Job 名称、配置信息、一组 JobVertex(理论的工作 operators)等。
JobManager:
JobManager 是 Flink 零碎的协调者，它负责接管 Flink Job，调度组成 Job 的多个 Task 的执行。同时，JobManager 还负责收集 Job 的状态信息，并治理 Flink 集群中从节点 TaskManager。次要包含：
RegisterTaskManager——在 Flink 集群启动的时候，TaskManager 会向 JobManager 注册，如果注册胜利，则 JobManager 会向 TaskManager 回复音讯 AcknowledgeRegistration；
SubmitJob——Flink 程序外部通过 Client 向 JobManager 提交 Flink Job，其中在音讯 SubmitJob 中以 JobGraph 模式形容了 Job 的根本信息；
CancelJob——申请勾销一个 Flink Job 的执行，CancelJob 音讯中蕴含了 Job 的 ID，如果胜利则返回音讯 CancellationSuccess，失败则返回音讯 CancellationFailure；
UpdateTaskExecutionState——TaskManager 会向 JobManager 申请更新 ExecutionGraph 中的 ExecutionVertex 的状态信息，即向 JobManager 汇报 operator 具体的执行状态，更新胜利则返回 true；
其余还包含 RequestNextInputSplit、JobStatusChanged；
TaskManager：
TaskManager 也是一个 Actor(主持者)，它是理论负责执行计算的 Worker，在其上执行 Flink Job 的一组 Task。它在启动的时候就设置好了槽位数（Slot），每个 slot 能启动一个 Task，Task 为线程。TaskManager 从 JobManager 处接管须要部署的 Task，部署启动后，与本人的上游 (工作上存在依赖关系的上游解决节点) 建设 Netty 连贯，接收数据并解决。每个 TaskManager 负责管理其所在节点上的资源信息，如内存、磁盘、网络，在启动的时候将资源的状态向 JobManager 汇报。
TaskManager 端能够分成两个阶段：
_注册阶段_——TaskManager 会向 JobManager 注册，发送 RegisterTaskManager 音讯，期待 JobManager 返回 AcknowledgeRegistration，而后 TaskManager 就能够进行初始化过程；
_可操作阶段_——该阶段 TaskManager 能够接管并解决与 Task 无关的音讯，如 SubmitTask、CancelTask、FailTask。如果 TaskManager 无奈连贯到 JobManager，这是 TaskManager 就失去了与 JobManager 的分割，会主动进入“注册阶段”，只有实现注册能力持续解决 Task 相干的音讯。
基于 Yarn 层面的构造
1：Clinet 客户端上传蕴含 Flink 和 HDFS 配置的 jars 至 HDFS，因为 YARN 客户端须要拜访 Hadoop 的配置以连贯 YARN 资源管理器和 HDFS；2：Clinet 客户端申请一个 YARN 容器作为资源管理器 -Resource Manager，作用是启动 ApplicationMaster；
3：RM 调配第一个 container 去运行 AM–AppplicationMaster;
4：AM 启动，开始负责资源的监督和治理；
5：Job Manager 和 AM 运行在同一个容器里，都胜利启动后，AM 晓得 job 管理器（它领有的主机）的地址;
6: Job Manager 为 Task Manager 生成一个新的 Flink 配置, 这样 task 可连贯 Job Manager；
7: AM 容器能够作为 Flink 的 web 接口服务，YARN 代码的所有端口是调配的长期端口，这可让用户并行执行多个 yarn 会话；
8：AM 启动调配到的容器，这些容器作为 Flink 的 Task Manager，将会从 HDFS 下载 jar 和更新配置，集群 Run，可接管 Job;
Flink 集群的 HA 计划：
在 Flink 的根本架构图中，咱们发现这一 Master-Slave 模式存在单点问题，即：JobManager 这个点万一 down 掉，整个集群也就全完了。Flink 一共提供了三种部署模式：Local、Standalone、YARN，除第一种为本地单机模式外，后两者都为集群模式。对于 Standalone 和 YARN，Flink 提供了 HA 机制防止上述单点失败问题，使得集群可能从失败中复原。
YARN 模式：
上段中介绍到 Yarn 层面的机构，留神到 Flink 的 JobManager 与 YARN 的 Application Master（简称 AM）是在同一个过程下的。YARN 的 ResourceManager 对 AM 有监控，当 AM 异样时，YARN 会将 AM 重新启动，启动后，所有 JobManager 的元数据从 HDFS 复原。但复原期间，旧的业务不能运行，新的业务不能提交。ZooKeeper(Apache ZooKeeper™)上还是存有 JobManager 的元数据，比方运行 Job 的信息，会提供给新的 JobManager 应用。对于 TaskManager 的失败，由 JobManager 上 Akka 的 DeathWatch 机制监听解决。当 TaskManager 失败后，从新向 YARN 申请容器，创立 TaskManager。
Standalone 模式：
对于 Standalone 模式的集群，能够启动多个 JobManager，而后通过 ZooKeeper 选举出 leader 作为理论应用的 JobManager。该模式下能够配置一个主 JobManager（Leader JobManager）和多个备 JobManager（Standby JobManager），这可能保障当主 JobManager 失败后，备的某个 JobManager 能够承当主的职责。下图为主备 JobManager 的复原过程。
二：Flink 的流式计算架构
分层栈
Deployment 层:
本地、集群，以及商用的云模式，不再赘述；
runtime 层：
Runtime 层提供了反对 Flink 计算的全副外围实现，比方：反对分布式 Stream 解决、JobGraph 到 ExecutionGraph 的映射、调度等等，为下层 API 层提供根底服务；
API 层：
API 层次要实现了面向无界 Stream 的流解决和面向 Batch 的批处理 API，其中面向流解决对应 DataStream API，面向批处理对应 DataSet API. 简略来说，DataSet 和 DataStream 都是蕴含了反复项数据的 immutable 汇合，不同的是，在 DataSet 里，数据是无限的，而对于 DataStream，元素的数量能够是有限的。对程序而言，最后的数据汇合起源是 Flink program 中的源数据，如双 11 领取数据大屏的线上实时数据起源；而后通过 filter、map、flatmap 等 API，能够对它们进行转换，从而由初始数据汇合派生出新汇合。留神，汇合是 immutable 的，只可派生出新的，不能批改原有的；
Libraries 层：
Flink 利用框架层，依据 API 层的划分，在 API 层之上构建的满足特定利用的实现计算框架，也别离对应于面向流解决和面向批处理两类。面向流解决反对：CEP（简单事件处理）、基于 SQL-like 的操作（基于 Table 的关系操作）；面向批处理反对：FlinkML（机器学习库）、Gelly（图解决）。
三：个性剖析
高吞吐 & 低提早
简略来说，Flink 在流式计算上相比于 Spark Streaming & Storm，突出的劣势次要是高吞吐 & 低提早，如下图所示：
反对 Event Time 和乱序事件
Flink 反对了流解决和 Event Time 语义的窗口机制。在探讨解决音讯乱序问题之前，需先定义工夫和程序。在流解决中，工夫的概念有两个：
- Event time：Event time 是事件产生的工夫，常常以工夫戳示意，并和数据一起发送。带工夫戳的数据流有，Web 服务日志、监控 agent 的日志、挪动端日志等；
- Processing time：Processing time 是处理事件数据的服务器工夫，个别是运行流解决利用的服务器时钟。
许多流解决场景中，事件产生的工夫和事件达到待处理的音讯队列工夫有各种提早：
- 各种网络提早；
- 数据流消费者导致的队列阻塞和反压影响；
- 数据流毛刺，即，数据稳定；
- 事件生产者（挪动设施、传感器等）离线；
上述诸多起因会导致队列中的音讯频繁乱序。事件产生的工夫和事件达到待处理的音讯队列工夫的不同随着工夫在一直变动，这常被称为工夫偏移（_event time skew_），示意成：_“processing time – event time”_。
对大部分利用来讲，基于事件的创立工夫剖析数据比基于事件的解决工夫剖析数据要更有意义。Flink 容许用户定义基于事件工夫（event time）的窗口，而不是解决工夫。
Flink 应用_事件工夫 clock_来跟踪事件工夫，其是以_watermarks_来实现的。_watermarks_是 Flink 源流基于事件工夫点生成的非凡事件。_T_ 工夫点的_watermarks_意味着，小于 T 的工夫戳的事件不会再达到。Flink 的所有操作都基于_watermarks_来跟踪事件工夫。
状态计算的 exactly-once 和容错机制
流程序能够在计算过程中保护自定义状态。
Apache Flink 提供了能够复原数据流利用到统一状态的容错机制。确保在产生故障时，程序的每条记录只会作用于状态一次(exactly-once)，不过也能够降级为至多一次(at-least-once)。这一容错机制通过继续创立分布式数据流的快照来实现。对于状态占用空间小的流利用，这些快照十分轻量，能够高频率创立而对性能影响很小。流计算利用的状态保留在一个可配置的环境，如：master 节点或者 HDFS 上。
在遇到程序故障时（如机器、网络、软件等故障），Flink 进行分布式数据流。零碎重启所有 operator，重置其到最近胜利的 checkpoint。输出重置到相应的状态快照地位。保障被重启的并行数据流中解决的任何一个 record 都不是 checkpoint 状态之前的一部分。
为了能保障容错机制失效，数据源（例如音讯队列或者 broker）须要能重放数据流。Apache Kafka 有这个个性，Flink 中 Kafka 的 connector 利用了这个性能。团体的 TT 零碎也有同样性能。
Flink 分布式快照的外围概念之一就是数据栅栏（barrier）。如上图所示，这些 barrier 被插入到数据流中，作为数据流的一部分和数据一起向下流动。Barrier 不会烦扰失常数据，数据流严格有序。一个 barrier 把数据流宰割成两局部：一部分进入到以后快照，另一部分进入下一个快照。每一个 barrier 都带有快照 ID，并且 barrier 之前的数据都进入了此快照。Barrier 不会烦扰数据流解决，所以十分轻量。多个不同快照的多个 barrier 会在流中同时呈现，即多个快照可能同时创立。
Barrier 在数据源端插入，当 snapshot N 的 barrier 插入后，零碎会记录以后 snapshot 地位值 N (用 Sn 示意)。例如，在 Apache Kafka 中，这个变量示意某个分区中最初一条数据的偏移量。这个地位值 Sn 会被发送到一个称为 Checkpoint Coordinator 的模块(即 Flink 的 JobManager).
而后 barrier 持续往下流动，当一个 operator 从其输出流接管到所有标识 snapshot N 的 barrier 时，它会向其所有输入流插入一个标识 snapshot N 的 barrier。当 sink operator（DAG 流的起点）从其输出流接管到所有 barrier N 时，它向 Checkpoint Coordinator 确认 snapshot N 已实现。当所有 sink 都确认了这个快照，快照就被标识为实现。
高度灵便的流式窗口 Window
Flink 反对在工夫窗口，统计窗口，session 窗口，以及数据驱动的窗口，窗口 (Window) 能够通过灵便的触发条件来定制，以反对简单的流计算模式。
来自云邪的形容 ——：“在流解决利用中，数据是连续不断的，因而咱们不可能等到所有数据都到了才开始解决。当然咱们能够每来一个音讯就解决一次，然而有时咱们须要做一些聚合类的解决，例如：在过来的 1 分钟内有多少用户点击了咱们的网页。在这种状况下，咱们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。”
窗口能够是工夫驱动的（Time Window，例如：每 30 秒钟），也能够是数据驱动的（Count Window，例如：每一百个元素）。一种经典的窗口分类能够分成：翻滚窗口（Tumbling Window），滚动窗口（Sliding Window），和会话窗口（Session Window）。
带反压 (BackPressure) 的连续流模型
数据流利用执行的是不间断的(常驻)operators。
Flink streaming 在运行时有着人造的流控：慢的数据 sink 节点会反压（backpressure）快的数据源（sources）。
反压通常产生于这样的场景：短时负载顶峰导致系统接收数据的速率远高于它解决数据的速率。许多日常问题都会导致反压，例如，垃圾回收进展可能会导致流入的数据疾速沉积，或者遇到大促或秒杀流动导致流量陡增。反压如果不能失去正确的解决，可能会导致资源耗尽甚至零碎解体。
Flink 的反压：
如果你看到一个 task 的 back pressure 告警（比方，high），这意味着生产数据比上游操作算子生产的速度快。Record 的在你工作流的传输方向是向上游，比方从 source 到 sink，而 back pressure 正好是沿着反方向，往上游流传。
举个简略的例子，一个工作流，只有 source 到 sink 两个步骤。如果你看到 source 端有个告警，这意味着 sink 生产数据速率慢于生产者的生产数据速率。Sink 正在向上游进行 back pressure。
绝妙的是，在 Spark Streaming 和 Storm 是辣手问题的 BackPressure，在 Flink 中并不成问题。简略来说，Flink 无需进行反压，因为 零碎接收数据的速率和解决数据的速率是天然匹配的。零碎接收数据的前提是接收数据的 Task 必须有闲暇可用的 Buffer，该数据被持续解决的前提是上游 Task 也有闲暇可用的 Buffer。因而，不存在零碎承受了过多的数据，导致超过了零碎解决的能力。这有点像 Java 线程中的通用阻塞队列: 一个较慢的接受者会升高发送者的发送速率，因为一旦队列满了（有界队列）发送者会被阻塞。
原文链接
本文为阿里云原创内容，未经容许不得转载。
