简介： 本文整顿自 EMQX 产品经理李国伟，在PolarDB开源社区中对于EMQX与PolarDB-X构建一站式IoT数据解决方案的分享。本篇内容次要分为四个局部：1. IoT数据个性 2. EMQX介绍 3. EMQX与PolarDB-X集成 4. EMQX+PolarDB-X计划DEMO。本文整顿自 EMQX 产品经理李国伟，在PolarDB开源社区中对于EMQX与PolarDB-X构建一站式IoT数据解决方案的分享。本篇内容次要分为四个局部： 1. IoT数据个性2. EMQX介绍3. EMQX与PolarDB-X集成4. EMQX+PolarDB-X计划DEMO 一、IoT数据个性

物联网利用场景离不开数据的采集、传输、存储、剖析等过程。大家能够依照数据个性以及业务需要，把物联网数据划分为元数据、音讯数据、时序数据。如上图所示，数据集通过EMQX连贯设施，实现数据存储。 元数据是设施最新的状态数据，如在线状态、以后传感器数值。音讯数据是设施公布的音讯，包含上报数据和下发指令。时序数据是继续变动的元数据和音讯数据。

 在物联网利用中，数据存储的需要无处不在。元数据、音讯数据通过存储应用后，能够撑持起各类业务需要。因为连接数规模、采集点数量宏大，不同的数据业务，须要对应不同的数据库选型。 元数据须要频繁插入更新，并且反对结构化查问，所以举荐应用关系数据库，进行存储。音讯数据不须要全量存储，只须要记录要害操作，或者提取音讯数据的要害数据，该当依据业务状况适当的选型。 时序数据的特点是，数据批改频次低，海量数据对写入速度和存储压缩比敏感，查问需要多样，所以举荐应用时序数据库。 二、EMQX介绍

MQTT是一个轻量的公布订阅模式音讯传输协定，专门针对低带宽和不稳固网络环境的物联网利用设计。 MQTT协定是基于公布/订阅模式的物联网通信协议，凭借简略易实现、反对QoS、报文小等特点，占据了物联网协定的半壁江山。 MQTT协定广泛应用于物联网、挪动互联网、智能硬件、车联网、电力、能源等畛域，既能作为网关在设施侧接入通信，也能作为设施-云端的通信协议：行业内ZigBee、LoRa、Modbus等绝大多数网关协定最终都转换为MQTT协定接入上云。

EMQX是MQTT代理，即MQTT音讯服务器。它将设施和利用分割起来，充当设施与设施、设施与利用之间的桥梁。 EMQX是一个大规模分布式的物联网专用的MQTT音讯服务器。它能够高效牢靠的连贯海量物联网设施，提供高牢靠、高性能的实时数据挪动、解决和集成，助力构建要害业务的物联网平台和利用。

 EMQX基于Apache 2.0许可证齐全开源，自2013年起200+开源版本迭代，在寰球都有宽泛的用户。 EMQX在协定的反对度、接入、吞吐、提早等方面有显著的劣势。在最新公布的5.0版本中，EMQX单节点反对500万MQTT设施连贯，集群可扩大至1亿并发MQTT连贯，能够撑持超大规模的物联网利用。

EMQX能够连贯任何设施。通过凋谢规范物联网协定MQTT、QUIC、LwM2M/CoAP，反对连贯所有车联网、工业、能源电力等要害业务场景的异构终端设备。

EMQX提供了平安的双向通信。通过TLS/SSL、QUIC和多样化的认证机制确保安全的双向MQTT平安通信。反对用户名/明码、JWT、PSK和X.509证书认证，确保数据安全。

除此之外，EMQX实时数据处理能力，通过一个弱小的基于SQL的规定引擎，以数百万条/秒的速度实时过滤、转换与解决设施与云端之间双向挪动的MQTT音讯数据。

在运维治理以及可观测性方面，EMQX通过CLI、HTTP API和Dashboard，轻松治理EMQX集群。反对应用Datadog、Statsd、Prometheus和Granfana进行监控和报警。 三、EMQX与PolarDB-X集成

 接下来，看一下EMQX如何与PolarDB-X集成，实现物联网数据PolarDB-X存储计划。这个计划宽泛用于EMQX开源版本。因为数据存储业务泛滥，连接数规模与采集点数量宏大，所以须要超高并发写入和海量存储反对。 通过EMQX的数据集成能力，以及MQTT共享订阅性能，将外部的设施、事件、音讯，发送到用户编写的程序中，实现PolarDB-X的插入或更新。

数据集成是EMQX在公布订阅模型的根底之上的数据处理与散发组件，通过简略的可视化的配置，即可将音讯流以及设施事件与Kafka、RabbitMQ等消息中间件，以及各类SQL/NoSQL/时序数据库等数据系统集成。

 通过上述规定EMQX能够解决各类数据，包含MQTT音讯和设施生命核心事件。其中，MQTT音讯包含设施端的上报，或者云端的下发。 设施生命周期事件是指，整个设施在运行过程中的事件。这些事件对物联网的利用建设有很大帮忙。比方进行设施治理，平安审计啊，音讯确认等等。音讯抛弃、音讯投递、音讯确认是精细化的MQTT音讯传输过程。

共享订阅是在多个订阅者之间实现负载平衡的订阅形式，相当于订阅端的负载平衡性能。当发布者的生产能力较强时，可能会呈现订阅者的生产能力无奈及时跟上的状况。 如果在EMQX集群中，某个节点挂了，同时订阅多个节点防止某个节点故障导致数据失落。

 用户能够通过应用$share/{group}/{topic}或$queue/{topic}格局的主题，发动共享订阅。 如上图所示，多个客户端公布的音讯。通过EMQX之后，共享订阅会在多个订阅者之间平衡派发音讯。 四、EMQX+PolarDB-X计划DEMO

在本次演示中，应用PolarDB-X存储MQTT设施在线状态，在高低线时更新并记录更新工夫。 应用PolarDB-X记录设施事件，记录设施高低线历史、订阅、勾销订阅历史记录等行为轨迹。 应用音讯存储性能，将存储设备上报的音讯，起源设施、主题、音讯内容进行存储，实现音讯入库。

上图是worker的实例代码，负责接管MQTT音讯，进行数据插入。在解决时，把它转换成JSON，依据JSON event判断插入历史表，或者进行其余操作。

上图是设施在线状态表，包含一个ID、设施IP、在线状态，创立工夫、更新工夫。

历史事件和音讯表都有对应字段，对应的数据类型。音讯表的Payload能够存储较大的音讯文本。

EMQX规定将所需事件数据通过republish动作，转发至worker解决。

接下来，进入理论的操作演示。首先，抉择本地部署PolarDB-X，依照文档中的疾速入门指南，在本地部署。

而后，创立表构造。上图展现了具体的SQL文件，不便大家进行创立。

接下来，插入数据并更新语句。更新ip_address和状态。当惟一键反复时，将会执行更新操作。如果不反复，会写入数据。 client_events表包含客户端的事件。当设施断开连接，没有topic。当会话订阅时，有topic。

接下来，查看表外面都有哪些数据。如上图所示，表里包含了id、clientid、event、topic、created_at、updated_at。

 接下来，插入messages表。将clientid，topic，payload插入。

接下来，在本地启动EMQX。启动胜利之后，拜访localhost18083，把语言改成简体中文。

在数据集成性能中，次要包含数据桥接以及规定，用规定获取数据。

EMQX的事件通过主题进行获取。在客户端建设上线事件连贯，用调试的形式，执行SQL。EMQX能够在客户端里，拿到相干信息，包含ID、要害事件、连接时间、连贯属性等等

而后，断开连接。断开连接对应的是disconnected事件，跟连贯的构造很像。但在event里，是断开连接事件。所以，用户能够通过event字段，辨别是否连贯。

在设施的事件历史记录方面，获取订阅跟勾销订阅事件。 session_subscribed是订阅事件。当会话订阅执行之后，能够获取以后的上下文信息、订阅的topic等等。 session_unsubscribed是勾销订阅事件，跟订阅大同小异。event_topic变成了勾销订阅的主题。

在音讯存储方面，用户须要从客户端收回的主题中，获取音讯。比方从t-1主题公布音讯时，须要从t-1主题获取音讯。其中，最次要的是Payload信息。其余数据，能够依据须要进行存储。

当用户获取相干数据后，能够应用数据桥接进行转发，通过外置数据库或者MQTT进行数据发送。除此之外，用户也能够应用控制台输入，把后果打印到控制台。

接下来，进行测试。在问题剖析中，找到WebSocket客户端建设连贯。已发送是t-1，已接管是t-2。音讯通过republic，进行转发。

在控制台里，除了音讯公布，还有控制台打印。把动作和上下文信息打印进去，不便用户进行调试。

在EMQX开源版里，因为没有间接编写数据库的能力。所以用户须要应用Worker建设一个mysql链接，连贯到PolarDB，应用PolarDB的兼容模式。

而后，创立订阅者。把客户端连贯到EMQX上。在主程序里，会创立十个客户端。每个客户端都共享订阅主题。当收到音讯时，注册一个handleMessage程序就。它会把data转成对象。 转换之后，就能够获取相应的字段。当event已连贯或断开连接时，须要写入或更新设施表。把数据插入到历史表里。 如果是音讯公布事件，把音讯插入message表里。如果是其余事件，把这个事件插入到客户端事件表里。每来一条音讯，会轮流派发到客户端。不会呈现一条音讯同时给十个客户端解决。

PolarDB-X超高并发、海量存储的个性能够应答物联网大规模设施接入所需的各类数据存储场景。 其分布式个性以及存储计算拆散架构带来的程度扩大、分布式事务、混合负载等能力，能够与同样是分布式的EMQX联合应用，打造真正的可伸缩物联网利用，应答从数千到数千万的设施接入。 除了本次分享的开源版计划，EMQX Cloud和EMQX企业版中还提供了MySQL数据集成能力，能够间接通过PolarDB-X兼容语法实现数据集成，更简略高效的实现物联网数据集成。原文链接：https://click.aliyun.com/m/10... 本文为阿里云原创内容，未经容许不得转载。