关于运维:实时计算-Flink-版总体介绍

5次阅读

共计 4942 个字符，预计需要花费 13 分钟才能阅读完成。

简介： 实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 开创团队官网出品，领有寰球对立商业化品牌，齐全兼容开源 Flink API，提供丰盛的企业级增值性能。

本文整顿自直播《实时计算 Flink 版总体介绍》
视频链接:https://developer.aliyun.com/learning/course/795

大数据的高速倒退曾经超过 10 年，大数据也正在从计算规模化向更加实时化的趋势演进。

比方阿里巴巴举办的购物狂环节双 11，能够通过实时大屏展现整个双 11 实时的交易额、成交额，并可实现毫秒级的更新；全球华人都会观看的中央电视台春节联欢晚会，能够通过春晚大屏，实时统计全国的收视率与观众画像；当初多个城市都有的城市大脑我的项目，通过 IoT 的摄像头信息，实时捕捉各个城市中的交通、车辆、人流等信息去做交通的监察和治理；还有金融行业，在银行、证券交易所等机构的外围业务场景下，也都在通过大数据实时计算能力实时监控交易行为，进行反作弊反洗钱等行为的探测；除此之外，在整个淘宝电商交易的场景下，实时依据用户的行为进行个性化举荐，基于用户在前一分钟或者 30 秒内浏览商品状况，在后续的浏览中零碎就会依据算法测算用户画像，而后实时向用户举荐可能会喜爱的相干商品等。能够说这么多日常生活中波及的场景，背地都是由实时计算在推动生产力的晋升，日夜不息。

实时计算须要后盾有一套极其弱小的大数据计算能力，Apache Flink 作为一款开源大数据实时计算技术应运而生。 它从设计之初就由流计算开启，因为传统的 Hadoop、Spark 等计算引擎，实质上是批计算引擎，通过对无限的数据集进行数据处理，其解决延时性是不能保障的。而 Apache Flink 作为流式计算引擎，它能够实时订阅实时产生的事实数据，并实时对数据进行剖析解决并产生后果，让数据在第一工夫施展价值。

目前 Apache Flink 也从流计算的引擎逐步领有流批一体的计算能力，能够通过日志流，点击流，IoT 数据流等进行流式的剖析解决，同时也能够对数据库和文件系统中的文件等无限数据集进行批式的数据处理，疾速剖析后果。Apache Flink 当初是开源社区中十分风行的一个开源大数据技术，并且间断三年成为 Apache 开源我的项目中寰球活跃度最高的我的项目之一。 它具备强一致性的计算能力、大规模的扩展性，整体性能十分卓越，同时反对 SQL、Java、Python 等多语言，领有丰盛的 API 接口不便各种场景业务应用。目前国内外互联网企业中 Flink 曾经成为支流的实时大数据计算技术，是实时计算畛域的事实技术标准。

阿里云实时计算 Flink 版产品，在阿里巴巴团体外部历经多年锻炼和验证，积攒了丰盛的技术和产品，现曾经提供到云上，为各行各业中小企业提供云计算服务。早在 2016 年，Apache Flink 刚刚募捐给 Apache 之后的第三年，阿里曾经开始大规模上线应用实时计算产品了。这个产品最早上线于阿里最外围的搜寻举荐以及广告业务场景，在这个场景下咱们须要大量的数据实时化的解决，比方实时举荐、实时排序、实时广告等，对整个电商的外围业务有十分大的晋升。

2017 年，基于 Flink 的实时计算平台产品，开始服务于整个阿里巴巴团体，同年双 11 服务全团体的数据实时化，包含最外围的双 11 的大屏。在 2018 年产品正式上云，不仅服务团体内，同时开始服务云上中小企业，这也是第一次将实时计算 Flink 的产品以公共云的模式对外提供服务。

2019 年初，阿里巴巴收买了 Flink 的开创公司 – Ververica，阿里的 Flink 技术团队 - 实时计算技术团队和德国总部的 Flink 开创团队顺利会师，成为了寰球 Flink 技术最强的团队，也独特推动了整个 Apache Flink 开源社区的倒退和奉献。目前中国 Apache Flink 社区有超过 20w 的开发者参加到社区中，Flink 成为 Apache 基金会大数据畛域最沉闷的我的项目之一。

去年，在寰球支流的云计算公司和大数据公司，都大量采纳 Flink 的技术推出了本人的 Flink 产品。比方借 Hadoop 起家的 Cloudera 也推出全面集成了 Flink 的 CDP/CDH，国内的大数据公司也陆续推出了基于 Flink 的实时计算产品。

阿里云的实时计算产品架构和开源版本相比拟，有很大的进步和增值。当初很多开发者在自建机房或者云上虚拟机作业时都会应用开源的 Apache Flink 去搭建本人的实时计算平台。 那么阿里云官网推出的实时计算 Flink 产品，它的特色是什么呢？

依据整个产品的架构图，最底层是基于阿里云的欠缺的云原生的基础设施，通过容器化来构建一套实时计算 Flink 的产品，所有的 Flink 的计算工作都运行在 Kubernetes 的生态之上，以容器化的形式进行多租户的隔离，保障平安。同时它又是全托管的服务状态，在云上提供高 SLA 保障的全托管服务，罢黜用户运维的懊恼。并搭配 service 架构，用户能够更灵便的判断各类资源的占比，齐全配合本人的业务量来抉择，无需为机器的布局而懊恼。 实时计算 Flink 版产品是一套人造的云原生基础架构。

在外围计算引擎上，绝对于开源的 Apache Flink 阿里云进行了多处外围性能的优化，这些优化也通过了阿里外部业务的锻炼。目前实时计算 Flink 产品，反对了阿里团体将近 100 个事业部的实时数据服务。通过大量业务实际，产品在反对存储，调度、网络传输等方面，都调试到最佳成果。

插件方面，产品内置几十种增强型的 Connector，能够对接所有支流的开源数据存储包含云上像 MySQL、HBase、HDFS、阿里云 SLS 等，人造集成、开箱即用。开发平台方面，提供企业级的一站式的开发平台，自带开发和运维能力，罢黜自建懊恼，进步企业用户整体应用感触。

实时计算 Flink 版反对 SQL、Java、Python 等多语言开发环境，提供开发工作的全生命周期治理，可反对基于 OIDC 和 RBAC 的企业级平安机制，并且领有基于 Prometheus 协定的全链路监控报警，同时提供自有 AutoPilot 的智能调优零碎，智能地帮忙用户去对 Flink 工作进行参数的调优，包含资源的调优和并发度的调优。产品齐全能够去自适应业务的流量，不须要人工做任何的调试 （智能调优是实时计算 Flink 版产品的外围劣势）。

实时计算 Flink 版的产品绝对于开源产品，具备数 10 项的性能劣势，通过开发、运维、老本、平安等角度进行比照。

开发方面具备丰盛的数据连贯能力和一站式的多语言的开发环境，内置多种函数库，不便用户进行代码调试，还能够进行多租户的开发，工作的调试，测试的模仿等等。运维方面反对全链路的监控报警，用户在应用过程中呈现的数据提早、数据异样、服务中断等都能够进行主动报警。

智能运维方面反对自动化的智能诊断和调优，可能依据业务流量主动帮用户进行性能调优、作业调优、参数调优和资源调优等，针对问题能够进行诊断优化。资源层面在开源的根底上，做到了更细粒度和更精细化的资源的调配，使得每个作业每个算子都能够在 CPU 和内存粒度上进行配置，大幅优化资源的利用率，帮忙用户节省成本，晋升服务的稳定性，升高 OM 的概率。搭配原厂的运维兜底服务，SLA 99.9% 的保障，以及全链路的容错能力，零碎稳定性的保障，充沛解决用户后顾之忧。

老本层面，通过云上老本优化，在性能晋升的同时升高用户整体的 TCO，这也是外围性能的劣势。

基于 NexMark 的流计算的规范测试中，实时计算 Flink 版的产品性能约为开源的 3 倍， 依靠阿里团体弱小的研发团队在外部外围业务场景下积攒的实际优化，使得产品在升高用户的根底老本上，突出外围劣势。

实时计算 Flink 版还具备云原生的弹性扩容能力，可帮忙用户正当地节俭资源，进步资源利用率。产品付费类型反对包年包月付费，也反对按量付费，更好地适配不同需要。

平安层面通过容器化的工作隔离，进步用户应用感触，并且反对租户隔离、平安隔离、VPC 隔离等等多种需要。同时与阿里的账号体系间接买通，用户能够基于阿里云的账号无缝进行产品之间的平安管控，也反对基于角色、OIDC 这种凋谢的身份认证协定，大大提高业务的安全性。

整体来说，企业版绝对于开源版具备更劣势的功能性和稳定性，除了运维方面的劣势，开箱即用也让用户更加不便。

Flink 作为实时计算的一个流式计算引擎，能够解决多种实时数据，包含 ECS 在线服务日志，IoT 场景下传感器数据等各类实时数据。同时能够订阅云上数据库 RDS、PolarDB 等这种关系型数据库中 binlog 的更新。再通过 DataHub 数据总线产品、SLS 日志服务、开源的 Kafka 音讯队列产品等将实时数据进行订阅，收录进实时计算产品中，进行实时的数据分析和解决。最终将剖析后果写入不同的数据服务中，比方 MaxCompute、MaxCompute-Hologres 交互式剖析、PAI 机器学习、Elasticsearch 等产品中，依据业务需要抉择最佳数据服务产品，进步数据利用率。

Flink 次要的利用场景就是将各种不同的实时数据源中的数据进行实时的订阅、解决、剖析，并把失去的后果写入到其余的在线存储之中，让用户间接生产应用。整个零碎具备速度快，数据准，云原生架构以及智能化等特点，是一款十分具备竞争力的企业级的产品。产品运行在阿里云的容器服务 ECS 等 IaaS 零碎上，跟阿里云的各项零碎人造买通，不便客户实用更多场景。

基于实时计算 Flink 版产品总结出 4 大利用场景，不便用户依据需要轻松构建本人的业务实时计算解决方案。

实时数仓次要利用在网站 pv/uv 统计、商品销量统计、交易数据统计等各类交易型数据场景中。通过订阅业务实时数据源，将信息实时秒级剖析，最终出现在大屏幕中给决策者应用，不便判断企业经营情况和流动促销的状况。依据实时的商业经营数据作出决策，做到真正数据智能。因场景的特殊性，实时数据尤为重要，在瞬息万变的业务互动中须要对上一分钟甚至上一秒钟产生的数据进行剖析决策，实时计算是这种场景下最好的抉择。

实时举荐次要是依据用户爱好进行个性化举荐或者基于 AI 技术进行举荐，是一个支流的产品状态。常见于短视频场景，电商购物场景，内容资讯场景等，通过之前的用户点击状况实时判断用户爱好，从而进行针对性举荐，减少用户粘性。这种是实时性十分强的场景，能够通过 Flink 技术联合 AI 技术进行实时举荐场景的运作。

实时的 ETL 场景常见于数据同步作业中，在数据同步的过程中还要做数据计算解决。比方数据库中不同表的同步、转化、不同数据库的同步，或者是进行数据聚合预处理等操作。最终将后果写入数仓 / 数据湖进行归档积淀，为后续深度剖析进行后期筹备工作，不便用户进行后续的日志类剖析等操作。在整个的数据同步和解决链路上，基于 Flink 做这种实时化数据的同步和预处理是十分高效的。

实时监控常见于金融类或者是交易类业务场景下，针对行业的独特性，须要有商业化的反作弊监管，依据实时短时间之内的行为，断定用户是否为舞弊用户，做到及时止损。该场景对时效性要求极高，通过对异样数据检测，能够实时发现异常状况而做出一个止损的行为。收集指标或者日志等统计各个系统的指标，对指标进行实时的察看和监控等等需要场景，都是能够通过实时计算 Flink 产品解决的。

产品官网：https://www.aliyun.com/product/bigdata/sc

版权申明： 本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。

正文完