Flink 1.11 行将 Release 啦！

作为备受瞩目的新一代开源大数据计算引擎，Flink 无疑已成为 Apache 基金会和 GitHub 最为沉闷的我的项目之一。

自 2014 年正式开源，Flink 倒退十分迅速，在 GitHub 上其访问量在 Apache 我的项目中位居前三。去年年底 Flink Forward Asia 2019 大会颁布，仅仅 2019 年一年的工夫，Flink 在 GitHub 上的 star 数量就翻了一倍，Contributor 数量也呈现出持续增长的态势。

GitHub 地址指路：
https://github.com/apache/flink

越来越多的企业和开发者正在一直地退出 Flink 社区，中国开发者也为 Flink 开发做出了微小的奉献。最近，Flink 终于要迎来 1.11 版本的更新，不仅对 SQL 和 PyFlink 的反对进行了优化，还有 Hive 的兼容性，以及加强了拓展资源（GPU）的调度反对。

将在 6 月下旬发版的的 Flink 1.11 重要性能个性更新如下：（目前已在官网文档更新）

• 加强 Web UI 性能
• 全新 Source API
• DataStream API 反对 Kafka 载体实现子图 Failover
• 晋升 DDL 易用性 (动静 Table 属性，Primary Key 反对)
• 加强 Hive 流批一体化（Hive Streaming sink，Filesystem Connector）
• 反对被 Zeppelin 集成，所有公布性能可用
• 加强 PyFlink（Pandas 反对，SQL DDL/Client 集成），晋升 Python UDF 性能
• 反对 Application 运行模式、加强 K8s 性能以及 Docker 镜像对立
• 对立 Job Master 内存配置
• 反对 GPU 调度
• 调整 Savepoint 文件门路不便挪动
• Runtime 实现 Unalinged 模式提速反压场景下 Checkpoint

Flink 1.11 版本更新之际，大数据文摘跟阿里巴巴资深技术专家，实时计算负责人，也是 Flink 中文社区发起人王峰 (莫问) 聊了聊，对于 Flink 此次新版的重点，以及将来社区的倒退布局，莫问老师都给了咱们一波官网剧透。

Flink 版本更新：上百万行代码

1.11 版本是 Flink 在版本上的重要更迭，更新代码就有上百万行。

总的来说，这次的新版本有以下几个重要更新：

减少反对 Python 的 UDF

PyFlink 在 Flink 的生态中十分重要，因为 Flink 的开发者也大多会应用 Java、SQL、Python 语言。在最新版本 1.11 中，减少了反对 Python 的 UDF，这样当 Python 开发者用 Flink 去开发一个残缺的流计算我的项目时，就能够不便地解决数据。

同时，在 AI 我的项目开发中，有些工程师也喜爱用 Python 解决数据，所以计算团队必须要为 Flink 的使用者思考，让所有开发者都能更好地应用 Flink。

进一步改良 SQL 的易用性

在 1.9 版本之前，Flink 社区用户应用最多的还是基于 Java 的 DataStream API，而 Table 和 SQL 还处于晚期摸索的阶段。在过来的两个大版本（1.9 和 1.10），Flink 社区花了十分大的代价将 Table 和 SQL 做了残缺的重构，退出了在阿里团体服务多年的 Blink planner，让 Table 和 SQL 做到了真正的生产可用。

从 1.11 版本开始，Blink planner 将会变成 SQL 的默认优化器。同时，社区也收集了过来几个版本中用户对 SQL 性能和易用性的反馈，做了大量的改良工作。比方呼声十分高的让 Flink SQL 可能间接解析数据库的 Binlog 日志（如 Debezium、Canal），以及更简洁的 DDL 写法，在查问语句中动静批改 table 参数等等。通过社区不断完善，置信 Flink SQL 除了在外围能力始终放弃优越之外，也可能让宽广用户感觉越来越好用，做到真正升高流计算业务的门槛。

增强 AI 方向的场景利用

Flink 社区始终在增强 AI 场景利用的性能。AI 这些年始终是一个十分风行的畛域，包含大家熟知的 TensorFlow 还有 PyTorch，都是用户常常应用的平台。AI 将来会利用在各种场景中，比方数据分析、监控模型等。莫问称，新版本会踊跃为 AI 各种场景提供更弱小的批流交融的数据处理能力，让用户能更好地进行数据荡涤、特征提取、样本生成，以及预测模型的框架构建。

此外，Flink 能够提供传统机器学习模型的训练，比方贝叶斯、SVM、随机森林这类的模型计算，以及 Alink 提供的其它品种机器学习模型。将来，Flink 社区会持续提供对于 Flink 流式计算框架的迭代, 一直晋升传统机器学习算法的能力，减少算法品种。

目前 AI 行业短少一整套工具链，来实现从数据处理、训练模型再到整体上线的残缺流程。即之前提及的 Flink AI Flow，Flink 将联结 TensorFlow、Kubernetes，和 AirFlow 这些开源技术，进行整合造成一套残缺的工具。当用户想要应用深度学习模型训练时能够应用 TensorFlow，想用传统学习算法时能够用 Flink ML Lib 或 Alink，Flink AI 会通过开源技术使用户都能取得这样的体验，缩小切换工具的不便。

与离线大数据系统的集成

尽管大数据实时化是大家公认的趋势，但同时不可否认的是，还是有十分多的公司还处在离线大数据系统的建设之中。如何帮忙这部分用户顺畅的将离线数据链路进行实时化降级革新，也是 Flink 社区始终在谋求的指标。

Flink 1.11 版本在之前兼容 Hive Meta、数据格式、自定义函数的根底之上，还新退出了实时读写 Hive 数据，反对将 Hive 数据作为维表，以及 Hive 局部 DDL 和 DML 的兼容性。这样一来，用户能够在 Flink SQL CLI 上间接应用 Hive 方言的 DDL 和 DML 语句，同时还能够应用 Flink 将数据实时的写入 Hive。在此基础之上，Flink 还能够主动监听 Hive 数据表，当有新的 partition 和数据呈现的时候，可能主动进行读取并解决。所有的这所有操作，都不影响原来的离线链路。有了这些性能之后，用户能够齐全在一个 Hive 的基础设施之上，搭建出适宜本人业务需要的准实时链路，将原来天级或者小时级的端到端提早，缩短到比方 10 分钟的量级。

除了 Hive 之外，当初市面上也有许多新兴的存储（如 Delta、Iceberg、Hudi）能够做到相似的成果。比方像数据湖架构，这种新的数据湖存储的架构都是流批一体的存储架构，增量视图能够看到数据的变动，能够用不同的增量视图来解决数据，也能够全量视图来解决数据, 还能够把云计算的存储核心或者 HDFS 中的所有数据都共享到数据湖，用户就能够应用计算引擎实时处理数据，也能够去批量的解决数据，还能准实时的解决数据。

Flink 提供流批一体的计算能力，将来和这些流批一体的存储进行有机的联合之后，将进一步帮忙用户简化零碎架构，晋升业务反对的效率。

“抉择往往比致力更重要”：Flink 在阿里的成长史

“抉择往往比致力更重要。”回忆起阿里抉择 Flink 的过程，莫问到当初仍然感慨万千。

2015 年，阿里搜索算法团队遇到了一个问题：整个淘宝和天猫的商品都须要实时更新到在线的搜寻和举荐引擎中，以及要依据用户在线行为进行实时个性化的搜寻排序和举荐，这么大规模的计算量，应该如何解决？

在面临微小挑战的业务需要大背景下，阿里搜寻团队迫切需要找到一个能接受微小计算量并且实时化的计算引擎。过后的他们有三个方向能够抉择：Apache Storm，Apache Spark，以及 Apache Flink。通过综合多方面因素的衡量和判断，莫问的团队最终抉择了 Flink 作为实时计算引擎。作为一个 14 年才进入 Apache 的年老我的项目，过后的 Flink 是如何吸引了阿里搜寻团队的留神？

莫问通知咱们，团队首先看中的是 Flink 的架构设计，尤其是作为一个纯流式思维来做大数据处理，不仅能够基于 Kappa 构造来做流式数据处理，还能够以流为外围做批流交融的计算能力。

花了一年的工夫，阿里团队对 Flink 晚期版本做了不少优化和加强，2016 年双 11 就在阿里搜寻和举荐场景上线了。因为是第一次在双十一场景里尝试新框架，搜寻团队也不太确定这个 Flink 到底是否接受住阿里的大规模计算量。让莫问都没想到的是，16 年双 11，Flink 的体现十分稳固，这一点曾经超过了搜寻团队的预期，甚至比过后阿里在用的几款流计算引擎计划体现的还要好，后劲十足。

也正是通过这次稳固的体现，整个阿里团体也对 Flink 的性能有了肯定的信念，心愿在这个框架的根底上，对立所有的流式实时计算技术计划。之后也正如咱们所见，阿里团体顶住了包含双十一、618 等全年一直的大大小小促销流动。

有了这些胜利的教训，阿里也对 Flink 有了更大信念，不仅反对整个阿里团体的实时计算，还在阿里云上开始对外提供基于 Flink 的实时计算产品服务。倒退至今，该产品曾经继续为 500 多家知名企业提供实时计算的保障。

“心愿 Flink 社区更凋敝，更多元化”

“心愿 Flink 社区更凋敝，更多元化。“

莫问通知咱们，阿里始终强调团队的初衷不是心愿阿里来管制 Flink 社区，而是心愿阿里为 Flink 社区作出更多奉献，带动 Flink 社区的疾速倒退，同时吸引更多的公司和开发者退出到 Flink 社区中来，实现社区的多元化，让 Flink 技术可能服务到更多行业和场景。

“所以咱们会把阿里外部对 Flink 一些比拟适合的改良和优化都奉献到社区中，让更多公司可能受害，也十分心愿看到其余公司也可能将 Flink 在本人的场景进行大规模的利用，并将各自的需要和改良都奉献给 Flink 社区，通过社区共建互相受害。”

2019 年阿里巴巴收买 Flink 商业公司 Ververica 后，投入了大量的精力倒退社区：在来自阿里的 PMC（项目管理委员会）成员提议和推动下，Apache Flink 社区建设了中文邮件列表、组织万人群热烈探讨 Flink 问题、联结 30 余家公司独特举办 Flink Meetup 20+ 场、引入 Flink 国内盛会 Flink Forward、继续输入收费的 Flink 学习教程以升高 Flink 入门门槛。

截止 2020 年 5 月，共有 674 位开发者退出 Apache Flink 社区成为 Contributor。Contributor 的名单里不乏来自阿里巴巴、腾讯、字节跳动、奇虎 360、网易、OPPO、小米、快手、小红书、亚信科技、唯品会等国内知名企业的工程师们。不仅有越来越多来自企业的开发者，也有更多高校学生、IC 成为 Apache Flink Contributor。在 Committer 方面，除了阿里之外，Flink 社区也不乏来自腾讯和头条的资深开发者受邀成为我的项目的 Committer。他们也十分踊跃的在社区分享各自公司外部的应用场景，并对 Flink 内核代码进行继续的欠缺和改良。

Flink 社区须要更多的资源去推动社区的提高，阿里也心愿能看到社区生态的凋敝和生态化。

Flink 的将来：做什么？

提到将来 Flink 社区的研发方向，莫问通知咱们，社区目前正在专一以下三个方向：

首先 ，推动实时和准实时数据处理的进一步交融。使得 Flink 不仅可能毫秒级的解决流式数据，同时也可能对无限数据集进行疾速剖析、解决和更新，为用户提供端到端的实时化数据分析体验。

其次 ，提供大数据和 AI 全链路流程端到端的残缺体验，AI 场景离不开大数据计算和解决能力。例如经典的 AI 包含数据的预处理、特色、样本计算和模型训练等，Flink 能够联合 Tensorflow，Airflow，Kubeflow 等技术，提供一套残缺流程治理计划去串联这其中的各个环节。

第三 ，Stateful Function，利用 Flink 在 Event Driven 和 Stateful Computing 上的劣势，使得 Flink 成为一款在线函数计算框架，让 Flink 从实时向在线计算演进。

将来已来，将成熟稳固的技术奉献给社区，共建良好社区生态能力真正的让用户放心使用，从用户角度登程，为用户的需要思考，能力最终取得一个用户喜爱的 Flink 计算引擎。携手搭档继续倒退 Flink 社区，让所有的用户用上最好的技术，这就是阿里始终想做的事件。