7 月 21 日 -7 月 22 日,由 Apache RocketMQ 社区主办,阿里云天池平台、云原生利用平台承办的首届 RocketMQ Summit 寰球开发者峰会拉开帷幕。Apache RocketMQ 联结创始人林清山公布 RocketMQ 能力全景图,为泛滥开发者论述 RocketMQ 5.0 的技术定位与倒退方向,来自快手、小米、字节跳动等互联网头部企业的 40 位演讲嘉宾与泛滥开发者分享各自行业的最佳实际与技术摸索教训。
阿里云云原生利用平台负责人丁宇示意,开源让云计算更加的标准化、云计算让开源产品化和规模化,将来的数字世界,将构建在云计算和开源之上。阿里巴巴将以开源的形式,践行凋谢共享好科技理念,把开源作为技术策略的重要组成部分。
明天,阿里巴巴的开源我的项目总数超过 3000 个,涵盖云计算、大数据、AI、中间件、数据库、容器、Serverless、高可用等畛域,领有超过 30000 名 Contributor,超过百万 Star,位列中国企业社区奉献榜首,间断十年蝉联中国厂商开源活跃度第一、影响力第一。将来,阿里云也将会继续投入 RocketMQ 的开源建设,构建更加凋敝的社区生态。心愿与更多的开发者、贡献者一起,谋求极致、凋谢共享,实现开源技术的普惠。
基于本身实际,RocketMQ 社区对于音讯队列演进趋势的洞察
音讯队列作为最经典的中间件之一,曾经有三十多年历史。随同着技术倒退,音讯队列畛域一直扩大,爆发新生命力,作为国内大规模实际先行者,RocketMQ 社区认为音讯畛域将迎来以下趋势变动:
1. 全面拥抱云原生
音讯队列将向上演进音讯型的产品状态,更好去撑持微服务、事件驱动、Serverless 化等云原生利用架构;向下演进音讯零碎本身云原生架构,通过零碎重构充沛开释基础设施的弹性计算、存储、网络等能力,全方位晋升音讯技术指标,升高音讯老本,进步音讯队列弹性能力。
2. 全面拥抱物联网
物联网技术将更宽泛的落地到各行各业,万物互联、边缘计算进一步拓展音讯的边界。面向物联网的音讯队列要海量异构设施接入,海量音讯队列存储,可能随处运行,具备云边端一体的无边界部署能力。
3. 全面拥抱实时数据
企业的数字化转型的步调一直减速,从业务数字化迈向数字业务化。数字化企业继续产生业务数据,对业务数据实时洞察与决策,能力帮忙企业疾速响应商机、把握商机,使得业务取得更大胜利。同时,音讯队列也将从在线业务架构的基础设施延长到实时数据架构的基础设施,达到事务剖析一体化。
四大方向,全面解读 RocketMQ 5.0 架构演进
1. 面向微服务
引入微服务架构,数字化企业以“高内聚、低耦合”的形式高效合作。微服务架构也带来新问题,比方大量同步微服务会面临提早增大、可用性升高等危险。为了解决这个问题,越来越多的企业引入音讯队列建设异步微服务体系,进一步提高微服务的韧性,升高响应提早。
业界的微服务技术趋势,一方面是曾经造成了事实标准,比如说像 Spring Cloud 体系,Dubbo 体系,通信协议有 HTTP、AMQP 等,另一方面下一代的微服务体系也在疾速倒退中,次要体现在基础设施下沉,比方 Servicemesh,Serverless 等技术。
在这个趋势下,RocketMQ 5.0, 在 SDK 层面将原来的重型客户端往轻量客户端演进,基于规范 gRPC 作为 remoting 层实现 SDK,同时也将更多客户端逻辑下沉到服务端,比方音讯重试、负载平衡等,大幅度降低多语言 SDK 的实现老本。轻量客户端更好的匹配了 ServiceMesh 的需要,RocketMQ 的 Mesh 能力已正式合入 CNCF Envoy 官网社区。
在负载平衡方面,RocketMQ 从原来的队列粒度负载平衡演进到了音讯粒度负载平衡模式,音讯粒度负载平衡更加匹配 Serverless 利用的场景,无状态 Serverless 利用弹性伸缩过程不会触发频繁的队列重均衡,升高音讯反复率和端到端提早。
RocketMQ 5.0 提供无状态 proxy,通过 proxy 能够很不便的扩大更多规范音讯协定以及流量治理性能。无状态 proxy 也具备良好的的网络穿透能力,能够灵便应答企业在上云过程中面临简单跨网络拜访场景。
明天咱们以 RocketMQ 5.0 外围能力为根底,撑持了阿里云 RocketMQ、MNS、RabbitMQ 等多款云音讯产品。其中阿里云 RabbitMQ 是一款兼容 AMQP 协定、RabbitMQ SDK 的音讯服务,能够帮忙开源存量用户无缝上云。同时它也充沛开释了底层 RocketMQ 云原生架构的技术红利,具备和 RocketMQ 统一的高性能、有限扩大、高可用等特点,是云原生的 RabbitMQ。
2. 事件驱动(EDA)
事件驱动在 18 年被 Gartner 评为年度十大技术趋势。在将来新型的数字化商业解决方案中,会有 60% 以上的商业数字化解决方案驳回 EDA 架构。EDA 为软件架构带来彻底解耦,实现更灵便的业务扩大和业务麻利能力,不仅能够用于繁多业务畛域的微服务解耦,还能够用于跨部门、跨组织、跨业务畛域的事件集成。音讯队列是 EDA 架构中最外围的组件,承当 eventbroker 的职责。随着 EDA 架构被大规模跨组织的落地,要进一步提高行业级生产力,标准化也火烧眉毛。为此 CNCF 推出了 CloudEvent 标准,基于对立的标准,跨零碎、跨组织的数字化协同有了独特的“语言”,可能实现更高效的系统集成,有了标准也不便积淀面向事件的对立根底软件设施,进步研发效率。
面向 EDA 趋势,RocketMQ 5.0 公布全新产品状态——Eventbridge。整个畛域模型以事件为核心,并拥抱 CloudEvent 标准,CloudEvent 社区开源 SDK 可无缝接入 Eventbridge。同时,还提供各种低代码事件编排、过滤、路由能力,灵便实现各种事件集成。
明天咱们以 RocketMQ 5.0 外围能力为根底,撑持了阿里云 EventBridge 产品,助力云客户实现事件驱动、事件集成的商业生态。
3. 物联网
寰球的 IoT 设施爆发式增长,预计到了 2025 年将达到 200 多亿台,。并且物联网也带来了边缘计算的衰亡,将来将有 75% 的数据将在传统数据中心或云环境之外进行解决。目前物联网行业曾经造成了多个标准协议,其中最风行莫过于 MQTT,这是 ” 公布 - 订阅 ” 模式的音讯协定,除此之外还有各种车联网协定、工业协定等等,物联网音讯队列要具备多样化异构海量设施接入能力。RocketMQ 可作为物联网利用的根底通信设施,用于 IoT、挪动设施的数据上报,还有指令上行,为 IoT 业务连贯云边端。
面向 IoT 的趋势,RocketMQ 5.0 公布轻量级百万队列引擎,轻量元数据服务。在新存储内核之上,建设物联网状态音讯队列 MQTT,反对规范物联网协定,反对海量物联网设施接入和海量队列存储。
RocketMQ 5.0 遵循零内部依赖的精简架构准则,新 HA 架构为低资源耗费场景提供更多抉择,用户能够衡量可靠性、老本、可用性,抉择最优正本策略。比方边缘场景因为资源受限,RocketMQ 不肯定须要提供三正本存储,能够是 2 正本,甚至是单正本就能满足业务需要。
明天以 RocketMQ 5.0 外围能力为根底,撑持了阿里云微音讯队列 MQTT,为客户提供云端一体化音讯解决方案,实现万物互联、云端互联。
4. 实时大数据
将来大数据将走向实时化,预测在 2025 年实时大数据的比例将达到 30%。数字化企业通过实时感知、实时剖析、实时决策,可能抓住商机、疾速响应用户,实时大数据的重要性愈发突出。音讯队列是实时大数据的关键技术之一,作为事件流的外围存储,它承当数据的散发,数据的缓冲,还有轻量的流解决的作用。
事件流技术越来越多的在 IoT 场景进行应用,IDC 预测将来 95% 的实时事件流将来自 IoT 场景;另外有越来越多的交易事件须要进行实时剖析,开掘更多业务价值,事件流技术也开始出现事务剖析一体化的趋势。
面向事件流的趋势,RocketMQ 5.0 在流存储和流剖析能力进行重点打造:
- 流存储方面,反对批量索引,大幅度提高 RocketMQ 吞吐量。反对 compacttopic,用于实现流处理过程中的状态存储,零内部依赖。除了性能个性之外,RocketMQ 5.0 的流存储同时进行了云原生架构革新,引入逻辑队列的概念,解耦了数据逻辑分区跟物理存储之间的绑定关系,可能实现全局固定分区前提下进行无缝扩缩容,零数据迁徙。
- 流剖析方面,RocketMQ 5.0 全新公布了轻量的流计算引擎,它能够兼容 flink SQL,不便用户在不同场景无缝切换。如果用户须要大而全流计算能力,能够应用大型计算平台。如果用户有边缘计算、资源受限、简略流解决场景能够间接应用 RocketMQ 的 RSQL 来反对。
明天咱们以 RocketMQ 5.0 事件流能力为根底,撑持了阿里云 Kafka 产品,存量 Kafka 用户实现无缝上云。同时基于 RocketMQ 的逻辑队列能力,阿里云 Kafka 具备疾速弹性伸缩能力,提供了 Serverless 化的产品状态。让存量 Kafka 用户也可能体验到云原生架构的红利。
一直演进,RocketMQ 正式迈进 5.0 时代
在过来七年大规模云计算实际中,RocketMQ 不停自我演进。明天 RocketMQ 正式迈进了 5.0 的时代。从互联网业务音讯两头扩大到“音讯、事件、流”超交融解决平台,解锁了更全面能力。
在音讯畛域,全面拥抱云原生技术,以取得更好的弹性伸缩。在事件畛域产品状态进行全面降级,拥抱行业标准,让事件驱动的架构无处不在,从繁多业务的数字化零碎扩大到跨组织跨业务的数字化商业生态事件驱动的架构,也同时让云计算原生的技术可能更大规模的落地,进步云产品跟用户业务的集中度。让 Serverless 的技术可能被更大范畴的驳回,帮忙企业客户去降本增效。在流存储和流计算畛域,流存储加强批量的个性,大幅度提高 RocketMQ 数据吞吐量,新增逻辑队列能力,解耦逻辑资源跟物理资源,在流场景也具备无缝伸缩能力;新增轻量流解决引擎也提供了实时事件流解决、流剖析能力。
RocketMQ 基于端云一体化架构,实现残缺物联网音讯队列能力,从原来连贯利用扩大到连贯物联网设施。同时 RocketMQ 5.0 也持续放弃着极简架构准则,即使产品能力全面晋升,也仍然可能以最低资源耗费,最低运维代价去搭建服务。
当初 RocketMQ 曾经真正具备连贯所有,随处运行的能力,提供云、边端一体化实时数据解决方案。物联网设施继续的产生的数据,边缘 RocketMQ 能够进行实时数据分析,疾速响应业务。通过实时 ETL,实时决策产生的高价值事件,或者数据能够传输到云端,通过 RocketMQ eventing 能力连贯更弱小的私有云平台,利用云的一站式平台技术,进一步放大每份数据的价值。
不止于开源,RocketMQ 赋能海量行业客户
明天,基于 RocketMQ 5.0 为内核,阿里云也打造一站式音讯平台,在对立云原生音讯内核根底上,提供 6 种音讯产品状态,有面向 IoT 场景的微音讯队列 MQTT,有面向 EDA 场景的 EventBridge,有面向开源用户无缝上云的托管开源产品如 Kafka、RabbitMQ、RocketMQ。
通过多样化产品状态,RocketMQ 在阿里云下面已服务数万个企业用户,帮忙其实现数字化转型的同时。RocketMQ 也失去业界的宽泛认可。近期取得多个奖项,包含 OSCHINA 优良技术团队奖、中国开源云联盟优良根底软件、中国科学技术协会颁布的科创中国开源翻新榜等,并进入 Apache 中国开源我的项目领导者象限。RocketMQ 成为第一个通过信通院可信云分布式音讯队列服务的“加强级”认证,第一个通过信通院金融级稳定性评测的“先进级”认证。
随着潜在用户数的增大,RocketMQ 的商业价值也被进一步的放大。目前曾经有十家的云厂商提供 Apache RocketMQ 的商业服务,它简直笼罩了国内支流的公共云厂商。这样 RocketMQ 的用户就有了更多的抉择,真正实现无厂商锁定,RocketMQ 曾经成为原生音讯的事实标准。
万物皆云的时代,RocketMQ 让数字化转型更简略高效,也将音讯、事件、流的价值最大水平开释。Apache RocketMQ 将一直推动技术演进与落地实际,帮忙企业真正实现高质量数字化转型与翻新。