关于flink:官宣｜Apache-Flink-115-发布公告

作者 | Joe Moser & 高赟
翻译 | 高赟

Apache Flink，作为 Apache 社区最沉闷的我的项目之一^[1]，始终秉承踊跃凋谢的态度一直进行技术深耕。在此咱们很荣幸的公布 Flink 1.15 版本，并和大家分享这个版本令人振奋的一些性能和改良！

Apache Flink 外围概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的升高了流批交融作业的开发复杂度。在过来的几个版本中，Flink 流批一体逐步成熟，Flink 1.15 版本中流批一体更加欠缺，前面咱们也将持续推动这一方向的停顿。目前大数据处理的一个趋势是越来越多的业务和场景采纳低代码的形式进行数据分析，而 Flink SQL 则是这种低代码形式数据分析的典型代表。越来越多的用户开始采纳 Flink SQL 来实现他们的业务，这也是 Flink 用户和生态快速增长的重要起因之一。Apache Flink 作为数据处理生态中的重要一环，能够与许多其余技术联合在一起反对各类用户场景。在当下云原生的背景下。咱们也尽可能将 Flink 与这些零碎以及各类云基础设施进行无缝集成。

在 1.15 版本中，Apache Flink 社区在上述这些方面都获得了重大进展：

• 1.15 版本的一大看点是改良了运维 Apache Flink 的体验：包含明确 Checkpoint 和 Savepoint 在不同作业之间的所属权，简化 Checkpoint 和 Savepoint 生命周期治理；更加无缝反对残缺的主动伸缩；通过 Watermark 对齐来打消多个数据源速率不同带来的问题等
• 1.15 版本中，Flink 进一步欠缺流批一体的体验：持续欠缺局部作业实现后的 Checkpoint 操作；反对批模式下的 Window table-valued 函数，并且使其在流批混合的场景下更加易用。
• Flink SQL 的进阶：包含可能在不失落状态的状况下降级 SQL 作业；增加了对 JSON 相干函数的反对来简化数据的输出与输入操作。
• Flink 作为整个数据处理生态中的一环，1.15 版本进一步晋升了与云服务的交互操作性，并且增加了更多的 Sink 连接器与数据格式。最初，咱们在运行时中去除了对 Scala 的依赖^[2]。

轻松运维 Apache Flink

长期来看，即便是由最好的工程团队来进行构建和调优，Flink 作业依然依赖运维操作。Flink 反对多种不同的部署模式、API、调优配置与用例，这意味着运维工作至关重要并且可能非常沉重。

在这个版本中，咱们听取了用户的反馈，对 Flink 的运维操作进行了简化，使用户可能更加轻松的进行运维。当初 Flink 明确了 Checkpoint 与 Savepoint 在不同作业之间的所属权；更加无缝反对残缺的主动伸缩；通过 Watermark 对齐打消多个数据源产出速率不同带来的问题，并且初步反对了在不失落状态的状况下降级 SQL 作业的能力。

廓清 Checkpoint 与 Savepoint 语义

Flink 容错策略的两个重要根底概念是 Checkpoint^[3] 与 Savepoint^[4] (参见比拟^[5])。

Savepoint 的次要作用是反对作业批改、备份与降级等场景，它是由用户来齐全管制的。而另一方面，Checkpoint 由 Flink 齐全管制，用于通过反对疾速复原与重启来实现容错的能力。这两个概念十分相似，并且它们共享了很大一部分实现。

然而，因为遵循不同的性能要求，这两个概念逐步变得不统一，使用户看起来没有残缺的顶层设计。依据用户反馈，这两个概念应该被更好地对齐和协调，最重要的是，这两个概念应该被更清晰的定义。

在某些进行或重新启动作业的场景下，尽管逻辑上应该应用 Savepoint，但用户还是会抉择应用长久化的 Checkpoint，因为 Savepoint 无奈享受 Checkpoint 能够应用的一些优化而导致执行较为迟缓。然而在这种状况下，作业从长久化的 Checkpoint 重启时 (这种状况下 Checkpoint 实际上被当作 Savepoint 来应用)，对用户来说何时能够清理 Checkpoint 中的数据并不非常分明。

因而，在 FLIP-193: 状态所属权 ^[6] 中，Flink 心愿能够将 Savepoint 和 Checkpoint 抽像成惟一区别是所属权不同的两个概念。在 1.15 中，通过反对原生的增量 Savepoint^[7]，Flink 解决了 Savepoint 的一些有余：在过来的版本中，Savepoint 总是应用规范格局以及非增量的形式，这也是导致它性能较差的起因。在 1.15 中，如果用户抉择应用原生格局并且同时应用了 RocksDB 状态存储，那么 Savepoint 将采纳增量的形式来执行。咱们也更新了相干文档来更好的概览与了解 Checkpoint 与 Savepoint 的差别。此外，对于从 Savepoint / 长久化的 Checkpoint 复原^[8] 的语义，咱们显式的引入了 CLAIM 与 NO_CLAIM 两种模式。对于 CLAIM 模式 Flink 将接管快照中数据的所属权，而对于 NO_CLAIM 模式，Flink 将创立它本人的正本，而由用户来负责管理与删除原始的数据。留神当初默认将采纳 NO_CLAIM 模式，之前版本中从 Savepoint / 长久化的 Checkpoint 复原的行为能够通过指定 LEGACY 模式来复原。

基于 Reactive 模式与自适应调度器的弹性伸缩

因为越来越多的云服务基于 Apache Flink 构建，Flink 我的项目变得越来越云原生，这使得弹性伸缩也越来越重要。

此版本改良了 Reactive 模式^[9] 的指标。Reactive 模式是一个作业级别的模式，在这种模式下，JobManager 将尝试应用所有可用的 TaskManager 上的资源。咱们在 1.15 中保障了作业级别的指标在 Reactive 模式下也能够失常的工作。

咱们还为自适应调度器^[10] 增加了异样历史记录。自适应调度器是一个新的调度器，它首先申明了所需的资源并且依据依据资源状况在执行前决定资源的并行度。

此外，Flink 进步了缩减作业规模的速度：TaskManager 当初有一个专用代码门路来敞开本人，它会被动从集群中登记本人而不是依赖于心跳，从而给 JobManager 一个明确的缩减作业规模的信号。

自适应批调度器

在 1.15 中，咱们为 Apache Flink 引入了一个新的自适应批处理调度器^[11]。这一调度器能够主动依据每个节点须要解决的数据量的大小主动决定批处理作业中各节点的并行度。

此调度器的次要长处包含：

1. 易用性：批处理作业的用户不再须要手动调优并行度。
2. 自适应：主动调整并行度能够更好地适应节点生产数据集随工夫发生变化的状况。
3. 细粒度：每个作业节点的并行度能够独自调整。这容许 SQL 批处理作业的节点主动为每个节点抉择独自抉择最适宜的并行度。

跨源节点的 Watermark 对齐

如果一个作业中应用了多个数据源节点，并且这些数据源以不同的节奏来增长 Watermark，这可能在上游节点中产生一些问题。例如，一些算子可能须要缓存十分大量的数据，从而导致微小的算子状态。因而，咱们在这一版本中引入了 Watermark 对齐的能力。

基于新的 Source 接口来实现的数据源节点能够启用 Watermark 对齐性能^[12]。用户能够定义对齐组，如果其中某个源节点与其它节点相比 Watermark 当先过多，用户能够暂停从该节点中生产数据。对齐 Watermark 的现实状况是有两个或更多以不同速度产生 Watermark 的数据源节点，并且数据源节点并发与内部零碎的分片数量雷同的状况。

SQL 版本升级

SQL 查问的执行打算及其生成的拓扑是通过优化规定和一个基于老本的模型来失去的，这意味着即便最小的更改也可能会产生一个齐全不同的拓扑。这种动态性使得在不同 Flink 版本间保障快照兼容性十分具备挑战性。在 1.15 中，社区首先通过放弃拓扑不变的形式使雷同的查问在降级 Flink 版本后依然能够启动和执行。

SQL 降级的外围是 JSON 打算 (即以 JSON 表白的查问执行打算，咱们目前只有 JavaDocs 中的文档，并且仍在致力更新文档^[13] )，JSON Plan 能够让 SQL 打算以结构化数据的形式被导入和导出，之前这一性能是一个外部实现，当初它将被公开以提供给用户应用。Table API 与 SQL 都会提供一种形式来编译和执行一个保障在不同版本中放弃不变的执行打算。此性能将作为实验性 MVP 性能公布。想要尝试的用户曾经能够创立一个 JSON 打算，而后能够应用这一打算在降级后基于旧的算子构造复原 Flink 作业。咱们将在 1.16 中提供这一性能的残缺反对。

从久远来看，牢靠的降级使 Flink SQL 能够在线上生产场景更加牢靠的应用。

基于 Changelog 的状态存储

在 Flink 1.15 中，咱们引入了 MVP 个性：基于 Changelog 的状态存储^[14]。这一新的状态存储旨在反对更短、更能够预测的 Checkpoint 距离。它具备以下劣势：

1. 更短的端到端提早：端到端提早次要取决于 Checkpoint 机制，特地是应用了两阶段提交的反对端到端一致性的 Sink 节点的状况，这种状况下缩短 Checkpoint 周期意味着能够更快的提交数据。
2. 更可预测的 Checkpoint 距离：目前 Checkpoint 的实现工夫很大水平上取决于须要保留在 Checkpoint 中的数据的大小。通过使这一数据总是能够很小，Checkpoint 的实现工夫变得更加能够预测。
3. 复原工作更少：Checkpoint 越频繁，每次重启后重新处理的数据也会越少。

基于 Changelog 的状态存储通过在后盾一直向非易失性存储上上传状态变动的记录来实现上述指标。

可反复的清理

在以前的 Flink 版本中，Flink 在作业完结时只尝试清理一次与作业相干的残留数据，这可能会导致在产生谬误时无奈实现清理。在这个版本中，Flink 将尝试反复运行清理以防止残留数据。默认状况下，Flink 将一直重试机制，直到运行胜利为止。用户能够通过配置相干参数 ^[15] 来扭转这种行为。禁用重试策略能够复原 Flink 之前版本的行为。

清理 Checkpoint 的相干工作仍在进行中，包含 FLINK-26606^[16]。

Open API

Flink 当初提供遵循 Open API^[17] 规范的 REST API 标准。这容许 REST API 与遵循 Open API 规范的工具间接交互。您能够在 18 找到相应标准。

Application 模式的改良

在 Application 模式^[19] 下运行 Flink 时，如果用户进行了相干配置^[20]，它当初能够保障作业在完结前可能失常实现 stop-with-savepoint 操作。

在 Application 模式下运行的作业的复原和清理也失去了改良。本地状态的元数据也能够保留在工作目录中，这使得从本地状态复原更容易 (例如将工作目录设定在非易失的跨机器的存储中的状况，之前本地状态的元数据保留在内存中，因而在作业复原时无奈找回)。

流批一体的更多停顿

在最新版本中，咱们对流批一体的反对进行了进一步的欠缺。

作业完结前的 Checkpoint

在 Flink 1.14 中，增加了对作业完结前期待一次 Checkpoint 操作的反对，从而保障应用流模式解决无限数据能够保障所有被据被提交，然而在 1.14 中，该性能必须被手动启用。自上次公布以来，咱们听取了用户反馈并决定默认启用它。对于这一性能的更多信息以及如何禁用此性能，请参阅 21。须要指出的是，这一默认配置的变动可能缩短应用流模式解决有界数据时的执行工夫，因为作业必须在完结前期待下一个 Checkpoint 实现。

Window table-valued 函数

Window table-valued 函数^[22] 之前仅可用于流模式下。在 1.15 中，它们当初也能够在批模式下应用。此外，通过实现一个专门的算子，咱们当初不再要求这些 Window 函数必须定义一个聚合器，从而进一步加强了 Window table-valued 函数。

Flink SQL

社区指标表明 Flink SQL 被宽泛应用并且变得越来越风行。在 1.15 中社区对 Flink SQL 也做了许多改良，下文将更加具体地探讨其中两个改良。

CAST / 类型零碎加强

数据以各种模式呈现，然而并不是所有状况下都是用户须要的类型，因而 CAST^[23] 是 SQL 中最常见的操作之一。在 Flink 1.15 中，失败的 CAST 的默认行为已从返回 null 更改为返回谬误，从而使它更合乎 SQL 规范。之前的行为能够通过调用新引入的 TRY_CAST 函数或通过在复原时配置相应参数来实现。

此外，Flink 1.15 也修改了许多 CAST 的谬误并对它的性能进行了改良，从而保障后果的正确性。

JSON 函数

JSON 是最风行的数据格式之一，越来越多的 SQL 用户须要生成或读取 JSON 类型的数据。Flink 1.15 依据 SQL 2016 规范引入了多个 JSON 处理函数^[24]。这些函数容许用户来应用 Flink SQL 方言查看、创立和批改 JSON 字符串。

社区反对

Flink 的一个重要指标是使用户可能构建流数据管道来解决他们的用例。一般来说，Apache Flink 不会独自应用，而是作为更大的数据分析平台中的重要一环。因而，简化 Flink 在云环境下的应用与保护、反对无缝连贯到其余零碎并持续反对 Java 和 Python 等编程语言对欠缺 Flink 生态非常重要。

云环境互操作性

许多用户在不同云服务提供商所提供的云基础设施中部署与应用 Flink，同时也有一些服务能够帮忙用户治理部署在他们的平台上的 Flink 集群。

在 Flink 1.15 中，咱们新增了写入 Google Cloud Storage 的反对。咱们还整顿了 Flink 生态中的连接器并把精力放在反对 AWS 相干的生态上 (即 KDS^[25] 与 Firehose^[26] )。

Elasticsearch Sink

咱们在 Flink 的整个连接器生态上进行了大量工作，但咱们想强调 Elasticsearch Sink^[27]：它是基于最新的 Sink API 来实现的，因而能够提供异步输入与端到端一致性的能力。它能够作为将来更多 Sink 实现的模板。

Scala-free 的 Flink

博文^[28] 曾经解释了为什么 Scala 用户当初能够联合任何 Scala 版本 (包含 Scala 3) 应用 Flink 的 Java API。

最初，删除 Scala 依赖只是清理和更新来自 Flink 生态系统的各种技术的更大工作的一部分。

从 Flink 1.14 开始，咱们移除了 Mesos 集成，隔离了 Akka，废除了 DataSet Java API，并将 Table API 暗藏在一个形象前面。社区的这些致力也吸引了许多用户与贡献者的关注。

PyFlink

在 Flink 1.15 之前，Python API 中用户定义的函数是在独自的 Python 过程中执行的，这将导致额定的序列化 / 反序列化和过程通信开销。在数据较大的场景中，例如图像处理等，这个开销变得不可漠视。此外，因为它波及过程间通信，这一解决提早也是不可疏忽的。这些问题在提早至关重要的场景是不可承受的，例如量化交易等。因而，在 Flink 1.15 中，咱们引入了一种“线程”模式的新执行模式：用户自定义的函数将在 JVM 中作为线程执行，而不是在独自的 Python 过程中执行。基准测试表明在 JSON 解决等常见场景中吞吐量能够减少 2 倍，解决提早也从几秒到微秒。须要指出的是，因为这依然是“线程”模式的第一个版本，此前它仅反对 Python Table API 与 SQL 中的标量函数。咱们打算在下一版本中将其扩大到 Python API 中其余类型的自定义函数。

其它

Flink 1.15 进一步欠缺了对于连接器测试框架^[29] 的反对，如果你想奉献一个连接器或改良一个连接器，你相对应该看一下这部分工作。

Flink 1.15 也增加了一些期待已久的性能，包含 CSV 格局^[30] 与小文件压缩^[31]。

同时，Sink API 被降级到版本 2^[32]。咱们激励每个连接器的维护者降级到这个版本。

总结

Apache Flink 简化了运维操作，在对齐流批处理性能获得进一步停顿，改良了 SQL 组件使其变得更易于应用，并且当初能够更好地与其余零碎进行集成。

同值得一提的是社区为 CDC 连接器^[33] 建设了一个新家。同时，连接器相干代码^[34] 将被挪动到 Flink 外一个独自的仓库中 (以 Elasticsearch Sink 作业第一个例子^[35]）。此外，当初社区新增了一个由社区保护的对于 K8s Operator^[36] 的布告博客^[37]。

展望未来，社区将持续专一于使 Apache Flink 成为真正的流批一体解决零碎，并致力于将 Flink 更好地集成到云原生生态系统中。

降级阐明

尽管咱们的指标是尽可能反对安稳降级，然而一些改变依然须要用户在降级到 1.15 的时候对它们的程序进行调整。请参考 Release Notes^[38] 来取得在降级时须要进行的改变与可能的问题列表。其中最值得一提的是因为去除 Scala 依赖的致力，当初许多依赖项中不再须要增加 Scala 版本后缀。对于更多信息能够参考^[39]。

原文链接：

https://flink.apache.org/news…

贡献者列表

Apache Flink 社区感激对此版本做出奉献的每一位贡献者：

Ada Wong, Ahmed Hamdy, Aitozi, Alexander Fedulov, Alexander Preuß, Alexander Trushev, Ali Bahadir Zeybek, Anton Kalashnikov, Arvid Heise, Bernard Joseph Jean Bruno, Bo Cui, Brian Zhou, Camile, ChangLi, Chengkai Yang, Chesnay Schepler, Daisy T, Danny Cranmer, David Anderson, David Moravek, David N Perkins, Dawid Wysakowicz, Denis-Cosmin Nutiu, Dian Fu, Dong Lin, Eelis Kostiainen, Etienne Chauchot, Fabian Paul, Francesco Guardiani, Gabor Somogyi, Galen Warren, Gao Yun, Gen Luo, GitHub, Gyula Fora, Hang Ruan, Hangxiang Yu, Honnix, Horace Lee, Ingo Bürk, JIN FENG, Jack, Jane Chan, Jark Wu, JianZhangYang, Jiangjie (Becket) Qin, JianzhangYang, Jiayi Liao, Jing, Jing Ge, Jing Zhang, Jingsong Lee, JingsongLi, Jinzhong Li, Joao Boto, Joey Lee, John Karp, Jon Gillham, Jun Qin, Junfan Zhang, Juntao Hu, Kexin, Kexin Hui, Kirill Listopad, Konstantin Knauf, LB-Yu, Leonard Xu, Lijie Wang, Liu Jiangang, Maciej Bryński, Marios Trivyzas, MartijnVisser, Mason Chen, Matthias Pohl, Michal Ciesielczyk, Mika, Mika Naylor, Mrart, Mulavar, Nick Burkard, Nico Kruber, Nicolas Raga, Nicolaus Weidner, Niklas Semmler, Nikolay, Nuno Afonso, Oleg Smirnov, Paul Lin, Paul Zhang, PengFei Li, Piotr Nowojski, Px, Qingsheng Ren, Robert Metzger, Roc Marshal, Roman, Roman Khachatryan, Ruanshubin, Rudi Kershaw, Rui Li, Ryan Scudellari, Ryan Skraba, Sebastian Mattheis, Sergey, Sergey Nuyanzin, Shen Zhu, Shengkai, Shuo Cheng, Sike Bai, SteNicholas, Steffen Hausmann, Stephan Ewen, Tartarus0zm, Thesharing, Thomas Weise, Till Rohrmann, Timo Walther, Tony Wei, Victor Xu, Wenhao Ji, X-czh, Xianxun Ye, Xin Yu, Xinbin Huang, Xintong Song, Xuannan, Yang Wang, Yangze Guo, Yao Zhang, Yi Tang, Yibo Wen, Yuan Mei, Yuanhao Tian, Yubin Li, Yuepeng Pan, Yufan Sheng, Yufei Zhang, Yuhao Bi, Yun Gao, Yun Tang, Yuval Itzchakov, Yuxin Tan, Zakelly, Zhu Zhu, Zichen Liu, Zongwen Li, atptour2017, baisike, bgeng777, camilesing, chenxyz707, chenzihao, chuixue, dengziming, dijkwxyz, fanrui, fengli, fenyi, fornaix, gaurav726, godfrey he, godfreyhe, gongzhongqiang, haochenhao, hapihu, hehuiyuan, hongshuboy, huangxingbo, huweihua, iyupeng, jiaoqingbo, jinfeng, jxjgsylsg, kevin.cyj, kylewang, lbb, liliwei, liming.1018, lincoln lee, liufangqi, liujiangang, liushouwei, liuyongvs, lixiaobao14, lmagic233, lovewin99, lujiefsi, luoyuxia, lz, mans2singh, martijnvisser, mayue.fight, nanmu42, oogetyboogety, paul8263, pusheng.li01, qianchutao, realdengziqi, ruanhang1993, sammieliu, shammon, shihong90, shitou, shouweikun, shouzuo1, shuo.cs, siavash119, simenliuxing, sjwiesman, slankka, slinkydeveloper, snailHumming, snuyanzin, sujun, sujun1, syhily, tsreaper, txdong-sz, unknown, vahmed-hamdy, wangfeifan, wangpengcheng, wangyang0918, wangzhiwu, wangzhuo, wgzhao, wsz94, xiangqiao123, xmarker, xuyang, xuyu, xuzifu666, yangjunhan, yangze.gyz, ysymi, yuxia Luo, zhang chaoming, zhangchaoming, zhangjiaogg, zhangjingcun, zhangjun02, zhangmang, zlzhang0122, zoucao, zp, zzccctv, 周平, 子扬, 李锐, 蒋龙, 龙三, 庄天翼

参考链接

[1] https://www.apache.org/founda…

[2] https://flink.apache.org/2022…

[3] https://nightlies.apache.org/…

[4] https://nightlies.apache.org/…

[5] https://nightlies.apache.org/…

[6] https://cwiki.apache.org/conf…

[7] https://nightlies.apache.org/…

[8] https://nightlies.apache.org/…

[9] https://nightlies.apache.org/…

[10] https://cwiki.apache.org/conf…

[11] https://nightlies.apache.org/…

[12] https://nightlies.apache.org/…

[13] https://nightlies.apache.org/…

[14] https://nightlies.apache.org/…

[15] https://nightlies.apache.org/…

[16] https://issues.apache.org/jir…

[17] https://www.openapis.org

[18] https://nightlies.apache.org/…

[19] https://nightlies.apache.org/…

[20] https://nightlies.apache.org/…

[21] https://nightlies.apache.org/…

[22] https://nightlies.apache.org/…

[23] https://nightlies.apache.org/…

[24] https://nightlies.apache.org/…

[25] https://nightlies.apache.org/…

[26] https://nightlies.apache.org/…

[27] https://nightlies.apache.org/…

[28] https://flink.apache.org/2022…

[29] https://github.com/PatrickRen…

[30] https://nightlies.apache.org/…

[31] https://nightlies.apache.org/…

[32] https://github.com/apache/fli…

[33] https://ververica.github.io/f…

[34] https://cwiki.apache.org/conf…

[35] https://github.com/apache/fli…

[36] https://nightlies.apache.org/…

[37] https://flink.apache.org/news…

[38] https://nightlies.apache.org/…

[39] https://flink.apache.org/2022…

更多 Flink 相干技术问题，可扫码退出社区钉钉交换群
第一工夫获取最新技术文章和社区动静，请关注公众号～