关于mqtt:EMQX-Enterprise-55-发布新增-Elasticsearch-数据集成

1次阅读

共计 2800 个字符，预计需要花费 7 分钟才能阅读完成。

EMQX Enterprise 5.5.0 版本已正式公布！

在这个版本中，咱们引入了一系列新的性能和改良，包含对 Elasticsearch 的集成、Apache IoTDB 和 OpenTSDB 数据集成优化、受权缓存反对排除主题等性能。此外，新版本还进行了多项改良以及 BUG 修复，进一步晋升了整体性能和稳定性。

Elasticsearch 是一个分布式的搜寻和数据分析引擎，可能提供多样化数据的全文搜寻、结构化搜寻以及剖析等性能。在这个版本中，EMQX 新增了对 Elasticsearch 的数据集成，反对数据的插入、更新和删除操作，这意味着设施数据能够被写入到 Elasticsearch，用户能够灵便地应用 Elasticsearch 的搜寻和剖析能力对数据进行解决。

设施数据写入到 Elasticsearch 后，用户能够灵便的应用 Elasticsearch 的搜寻和剖析能力对数据进行解决。典型的应用场景包含物联网设施的事件和日志监测、地理位置数据（Maps）的解决以及终端平安监测。例如，物联网设施会生成大量的日志数据，这些数据能够被发送到 Elasticsearch 中进行存储和剖析。通过连贯到可视化工具，例如 Kibana，能够依据这些日志数据生成图表，实时展现设施状态、操作记录以及谬误音讯等信息。

Apache IoTDB 与 OpenTSDB 数据集成在这个版本中失去了优化，当初反对配置数据写入模板，通过指定每个字段的工夫戳、字段名称、数据类型，实现灵便的数据写入，使得数据集成开发更加疾速和灵便。

在工业、车联网等利用中，时序类数据集成开发中，存在一条音讯蕴含数百乃至更多数据点位的场景。要配置将它们从音讯中提取，并一一对应存储到数据库中是一个反复且简单的工作。

为了解决这个问题，EMQX 提供了批量设置性能，用户能够通过 CSV 文件编辑要写入的字段名称以及从 Payload 中的取值形式，将其通过 Dashboard 进行导入，实现对应数据集成的疾速配置。目前反对的数据集成有 InfluxDB、Apache IoTDB, 以及 TDengine。

在电力生产零碎的网络安全要求下，生产控制区、生产非控制区和生产管理区之间的网络通讯须要通过单向网闸设施保障网络安全。

EMQX 在数据集成中新增了正向网闸 SysKeeper 2000 穿透性能，通过配置能够启用此性能，进行 EMQX 音讯在不同生产区之间的桥接传输。这一性能确保合乎规章制度的状况下，实现了两个生产区之间数据通信，为电力行业物联网利用落地提供了定制化的反对，助力电力系统的平安、高效经营。

EMQX 提供了开箱即用的客户端受权性能，为利用平安提供了强有力的保障。其中还反对受权缓存，可能大大减少后端压力，实现零碎高性能稳固运行。

在启用缓存的根底上，对于一些平安敏感的业务，用户心愿将其排除不生成缓存，以实现实时的权限更新保障通信安全。在这个版本中，EMQX 反对为受权缓存增加多个排除主题，客户能够灵便的定制不同安全级别要求，实现整个零碎高效稳固运行。

EMQX 为用户提供了丰盛的指标和指标监控服务集成。此前用于指标集成的 Prometheus 只能获取集群运行和客户端、MQTT 相干的根底指标，对于认证受权、规定引擎和数据集成的运行指标没法实现监控治理。

在这个版本中，咱们进一步加强了可观测性，裸露了更多的指标，包含：

认证与受权：每个认证与受权器的状态和容许 / 回绝状况
规定：可能获取每个规定的执行状况，例如触发、通过与未通过、失败次数，以及执行的速度
数据集成：每个内部集成的连贯状态，Sink 与 Source 的执行状况
SSL/TLS 证书有效期，用以实现证书的轮换监控
License 过期工夫

通过这些更具体的指标，用户可能实现业务层面的监控，可能具体理解以后次要组件运行状态，更便捷地监测和排除零碎问题。

进步了 Kafka 生产者数据集成的性能，改善了 Kafka 服务侧的资源占用。这对于大量应用 Kafka 作为数据流通道的利用来说有十分大的帮忙，因为它能够进步零碎的整体性能和效率。
集群节点通信反对批量更新多个订阅操作，进一步提高了 Core – Replicant 架构在跨地区集群、高网络提早场景下的订阅速度。实测在 220ms 的网络提早中，可能晋升 20% 的订阅速度。该设计还加重了集群连贯代理池的负载，从而最大限度地缩小零碎过载的危险。
进步了路由清理时的网络通信效率，在新的实现中，当一个节点宕机时，其余的存活节点只须要替换一个“匹配并删除”操作，这大大减少了所需的网络数据包数量，从而升高了集群间的网络负载。对于在网络提早较高的跨地区环境中部署的 EMQX 集群，这种优化将会十分无益。
GreptimeDB 数据集成反对异步写入操作，以提供更好的性能。
反对并发创立和更新数据集成，进步了例如导入备份文件时的操作速度。

JWT 认证中，Token 携带的 ACL 权限列表采纳新的数据格式，应用上更加灵便。
保留音讯反对搜寻以及一键革除，此前曾经反对了保留音讯的列表查看和治理，当初咱们对治理的用户体验进行了加强，反对在 Dashboard 上通过主题或者主题搜寻治理保留音讯列表，并实现保留音讯的一键革除。
提早音讯反对指定主题进行批量删除，此项更新进步了操作效率并缩小治理的复杂性。
调整 REST API 分页大小下限，将分页 REST API 的请求分页大小限度由 3000 调整为 10000，以反对更大数据量的 API 调用。
数据集成 MQTT 桥接重构，当初一组 MQTT 连贯可能用于在多个音讯订阅、音讯公布配置中。这一改良将使得数据集成配置和治理更加灵便和高效。

以下是次要 BUG 修复列表：

#12243 修复了一系列可能导致全局路由状态不统一的轻微竞争条件，确保全局路由状态的正确性和一致性，进步零碎的稳定性。
#12269 改良了 /clients 接口的错误处理形式。当初，如果查问字符串验证失败，EMQX 将返回 400 状态和更具体的错误信息，而不是通用的 500。这样能够让用户更分明地晓得出错的起因，进步了错误处理的透明度。
#12303 修复了保留音讯索引的问题。此前如果客户端有通配符订阅，可能会收到与其订阅主题不匹配的无关保留音讯。
#12404 修复了音讯流量较大的状况下，重启数据集成可能导致指标进行收集的问题。当初能够确保在任何状况下都能正确收集数据集成指标，进步了零碎的可靠性。
#12301 修复了 InfluxDB 中的行协定数值字面量被存储为字符串类型的问题。当初数值字面量将被正确地存储为数值类型，进步了数据的准确性。

更多功能变更和 BUG 修复请查看 EMQX Enterprise 5.5.0 更新日志。

正文完