EMQX Enterprise 5.2.0 版本现已正式公布!

新版本带来了一系列重磅更新,最令人瞩目的是可拖拽的可视化 Flow 设计器,它能够帮忙企业疾速创立、测试和部署数据集成。同时,咱们新增了对 Amazon Kinesis 和 Azure Event Hubs 的反对,实现了海量物联网设施数据与云服务的无缝连贯。此外,新版本还进行了多项改良以及 BUG 修复,进一步晋升了整体性能和稳定性。

Flow 设计器,拖拽和可视化界面疾速创立、测试和部署数据集成

Flow 设计器是一个可视化界面,它在早些公布的数据集成可视化查看工具 Flows 根底上,减少了创立和编辑的能力。

它容许用户应用更简略的形式,通过拖拽的形式自在编排规定和数据桥接,在几分钟内即可实现音讯与事件的实时处理,并与内部 40 余种数据系统的集成。创立实现后,用户能够通过对立的视图清晰地治理数据集成流程,并监控每个解决节点的状态。

Flow 设计器底层仍应用规定 SQL 与数据桥接,继承了 EMQX 弱小的数据处理能力和优异性能。同时,它还容许用户在 UI 和 SQL 编辑器之间自在切换,既保留了习惯的 SQL 编辑形式,也提供了更简略疾速的上手能力。相比之前的版本,当初用户无需相熟 EMQX 规定 SQL 语法,就能够通过简略的 UI 进行业务开发,这有助于用户更轻松地利用 EMQX 的数据处理能力实现业务翻新。

独立的 Webhook 页面,简化配置流程

Webhook 是 EMQX 最罕用的数据集成形式之一。为进一步升高应用门槛,EMQX 最新版本新增了独立的 Webhook 配置页面,可大幅简化将数据发送到内部 HTTP 服务器的配置流程。

过来,实现这一性能须要编写规定 SQL 并配置数据桥接,这要求用户对 SQL 语法比拟相熟,特地是在解决客户端事件时,须要理解事件在 SQL 语句中的映射关系(如下列 SQL 所示),减少了学习难度。

SELECT * FROM "$events/client_connected"

全新的 Webhook 配置页反对纯表单操作,用户可通过简略的点选形式抉择须要发送的音讯或事件。这样极大地升高了应用门槛,用户无需了解 EMQX 的外部规定语言就能够疾速建设事件或音讯到内部 Web 服务的连贯。

简化数据桥接配置参数,专一业务流程

EMQX 的数据桥接提供了丰盛和全面的参数配置,以便满足企业级音讯消息中间件对性能、稳定性以及不同业务场景下灵便配置的需要。通过调整对应性能的参数,能够实现时延与写入速度之间的均衡,或者减少更多的连贯实现更高吞吐(相应的对外部数据服务的压力会更大)。

然而咱们也留神到,对于大多数场景来说,一些参数并不需要进行调整,应用 EMQX 提供的默认值即可。因而在此次版本中,咱们将高级设置的形式折叠了这些参数配置。用户只需专一在业务流程和逻辑设置上,当遇到特定的性能瓶颈或场景需要时,能够关上高级设置进行参数微调。

下图是简化后的 Timescale 数据桥接创立页面,用户仅需关注连贯与数据写入流程配置:

此举在升高学习曲线的同时,依然保留了 EMQX 对简单场景的适应能力,让 EMQX 的数据桥接性能对用户更加敌对。

Amazon Kinesis 集成

Kinesis 是 AWS 上齐全托管的实时流数据处理服务,能够轻松地进行流数据的收集、解决和剖析。它能够经济高效地解决任意规模的实时流数据,并具备高度的灵活性,可能低时延的解决来自数十万个起源的任意数量的流数据。

EMQX 与 Amazon Kinesis 联合应用,可能实现海量 IoT 设施连贯,进行实时音讯进行采集、传输,并通过 EMQX 数据集成连贯到 Amazon Kinesis Data Streams,进行实时剖析与简单的流解决。

利用 Kinesis 构建的流数据管道,能够大幅升高 EMQX 与 AWS 平台之间的接入难度,为用户提供更丰盛、灵便的数据处理计划。够助力 EMQX 用户在 AWS 上构建性能齐备、性能卓越的数据驱动型利用。

Azure Event Hubs 集成

Event Hubs 是由 Azure 提供的是一种简略、可信且可扩缩的齐全托管型实时数据引入服务。每秒可能解决数百万个流式事件,从而构建动态数据管道并迅速应答业务挑战。Event Hubs 反对依据应用需要动静调整吞吐量按需付费,并提供了弱小的平安和隐衷爱护。

Event Hubs 可作为 EMQX 与 Azure 丰盛的云服务利用之间的数据通道,将物联网数据集成到 Azure Blob Storage、Azure Stream Analytics 以及部署在 Azure 虚拟机上的各类利用和服务当中。

借助 Event Hubs 构建的低提早传输通道,能够简化 EMQX 与 Azure 平台之间的接入,帮忙用户疾速实现海量物联网设施数据与 Azure 的连贯。让用户更便捷的取得云计算带来的数据分析和智能化能力,构建功能强大的数据驱动型利用。

HStream 集成

HStream 是 EMQ 专为物联网数据存储和实时处理而推出的开源、云原生分布式流数据平台。

它通过专门设计的分布式容错日志存储集群,可能牢靠地存储数百万个设施数据流,并提供一级订阅反对,能够实时推送最新数据流到您的利用。并在须要时随时回放和生产数据流。

HStream 独特的交融架构设计,联合 EMQX 海量设施和多协定接入能力,容许用户可能在一个平台上高效实现对所有实时音讯、事件以及其余数据流的摄取、存储、解决和散发,为物联网数据流的运维治理和实时利用开发提供了便捷性。

GreptimeDB 集成

GreptimeDB 是一个开源、分布式、云原生时序数据库,交融时序数据处理和剖析能力。GreptimeDB 专为云而生,充分利用云的劣势,如弹性、可扩展性和高可用性。

GreptimeDB 与 EMQX 集成应用,可能实现海量物联网数据的长期存储与实现查问,以及随业务倒退的灵便扩大。有限的历史数据存储,针对时序数据优化的 SQL,两者可能满足对长时间范畴内海量数据集的摸索与开掘。用户能够随时查问任意时间段的历史数据,并通过 SQL 即时洞察时序趋势,从繁冗数据中提取外围业务价值,并实现数据驱动的智能决策。

规定引擎反对 Sparkplug B 音讯编解码

Sparkplug 是工业物联网畛域热门的一个开源标准,它基于 MQTT 提供的一套明确定义的 Payload 和状态管理体系,实现了互操作性和一致性。

Sparkplug B 简化了 MQTT 命名空间,用于监控、管制、和数据采集零碎(SCADA)、实时控制系统以及设施。它采纳 Protobuf 编码数据,以实现轻便、高效和灵便的数据交换。 EMQX 的最新版本在规定引擎 SQL 中增加了 Sparkplug B 音讯编解码函数,使得在 EMQX 中,用户能够间接应用 sparkplug_encodesparkplug_decode 函数,从而更加便捷地进行 Sparkplug B 音讯到 JSON 格局的编码和解码。

解码后的 JSON 数据能够通过规定引擎其余函数进行简单解决,并集成到内部数据桥接中,以实现丰盛的业务集成。这有助于简化工业物联网中不同设施的互操作性,进步开发效率,构建灵便可扩大的物联网利用。

OpenTelemetry 指标集成

OpenTelemetry 是 CNCF 下的一个开源可观测性框架,旨在于应用标准化的数据格式,将程序中的 traces、metrics 和 logs 等可察看性数据发送到后端组件。

本次公布中 EMQX 增加了对 metrics 集成的反对,为 EMQX 提供开箱即用的监控能力。有助于更好地察看、剖析和诊断 EMQX 集群运行状况。

将来版本中,EMQX 打算进一步反对 OpenTelemetry 的 traces 与 logs 集成,通过分布式链路追踪与日志关联,直观剖析申请在 EMQX 中的解决状况,实现端到端的分布式诊断能力。这将进一步丰盛 EMQX 的监控数据,帮忙用户更全面和粗疏地监测零碎运行状态,疾速定位并解决异样。

性能晋升

性能始终是 EMQX 关注的一部分,本次公布中咱们进行了以下晋升:

  • 更新 Mria 版本,通过合并索引更新晋升了保留音讯公布速度。
  • 规定引擎应用主题索引减速规定匹配,大幅晋升了 EMQX 解决大量规定的性能。
  • 新增节点池和通道池配置,调优这些配置在高提早的集群互联网路可显著晋升 EMQX 性能。

更多新性能

除了后面介绍的次要性能外,各组件均有针对性性能降级,满足用户日常运维和应用需要:

  • 认证、受权以及数据桥接中的 Redis 连贯反对设置用户名,以便连贯到如 AWS MemoryDB 等须要用户名的 Redis 服务中。
  • Kafka 数据桥接新增消费者模式动静设置MQTT主题性能,能够实现更灵便的 Kafka-MQTT 主题映射,动静控制数据下发的 MQTT 指标主题。
  • GCP PubSub 数据桥接当初反对设置 PubSub 音讯的属性和排序键,能够利用这些特色实现更丰盛的音讯路由和有序传输。
  • 为 RabbitMQ 数据桥接增加 TLS 连贯反对。
  • 更新了 jq 依赖版本,修复了一些小的平安问题。
  • 客户端认证与受权反对应用 LDAP 作为数据源。
  • 公布了实用于 Amazon Linux 2023 与 Debian 12 的安装包。
  • 优化了 Prometheus 指标集成时音讯、过载爱护、受权、认证等性能的指标,使其更加清晰丰盛。

BUG 修复

以下是次要 BUG 修复列表:

  • 修复了 EMQX 敞开过程中记录无关谬误日志的问题。#11065
  • 修复了启用 debug/trace 时客户端无奈发送蕴含大尺寸 payload 音讯的问题。 #11279
  • 修复了在发送带有非零 ack_flag 的 CONNACK 数据包时 packets_connack_sent 指标未减少的问题。#11520
  • 增加了对 API 中工夫戳的最大值的查看,以确保它是无效的 Unix 工夫戳。#11424

更多功能变更和 BUG 修复请查看 EMQX Enterprise 5.2.0 更新日志。