关于物联网:EMQX-50-全新网关框架轻松实现多物联网协议接入

作为一款大规模分布式物联网 MQTT 音讯服务器，EMQX 除了残缺反对 MQTT 3.x 和 5.0，还反对 STOMP、MQTT-SN、LwM2M/CoAP，JT/T 808 等多种支流协定接入。不仅提供了宽泛的连贯能力，以解决实用于各类场景的物联网设施；还为后端的物联网治理服务提供了对立接入平台和治理接口，以升高异构协定间的适配老本。

在最新公布的 EMQX 5.0 中，咱们重构了多协定接入的底层架构，对立了配置格局和治理接口，提供了一个全新的扩大网关框架。同时标准了各类网关的实现，使得各个网关性能定义更为清晰。

本文将对 EMQX 5.0 全新的网关框架及性能应用进行具体解读，帮忙读者更好地利用 EMQX 弱小的多协定接入反对能力连贯各类协定设施，满足更多物联网场景的数据接入需要。

因为设施的接入协定品种繁多，各个协定对连贯登录、音讯传输等领有不同定义，这通常要求服务端部署各种协定的接入服务，导致软件和保护的老本急剧回升。EMQX 自公布以来就提供了多协定接入的反对，来屏蔽接入层协定的异构，以升高用户的开发和经营老本。

在 5.0 版本之前，EMQX 的多协定反对通过公布各类协定的接入插件来实现，这些独立的插件之间不足对立的定义和规范，相对来说有肯定的应用难度。

为了给用户带来更加便捷易用的多协定反对，EMQX 5.0 对整个多协定接入架构进行了重构。所有非 MQTT 协定的接入都被统称为网关（Gateway）。所有网关由一个对立的框架提供通用操作的反对，包含：

对立的用户层接口：该框架提供了格调对立的配置文件、HTTP API 和命令行接口。以监听器参数配置为例，4.x 版本中不同协定插件对于监听器裸露的参数各不相同，而在 5.0 版本中这些参数的格调都将是对立的。
对立的统计和监控指标：提供了网关和客户端级别的统计指标，例如收发字节数、音讯等。
独立的连贯和会话治理：每个网关都有在本人的客户端治理页面，且不同的网关容许应用雷同的 Client ID，而不是像 4.x 版本一样都混合在 MQTT 客户端列表中进行治理。
独立的客户端认证：反对为每个网关配置独立的认证，不再像 4.x 像一样与 MQTT 客户端认证混合在一起。
易扩大和规格清晰化：框架形象了一套规范的概念和接口使自定义网关变得更加容易。

每个网关内的实现，和之前相似：

监听器：每个网关能够启动多个监听器来承受客户端的网络申请，监听器类型反对 TCP、SSL、UDP、DTLS。每类网关反对的监听器类型各有不同。
报文解析：每个网关都有属于本人的报文解析模块，负责解决该协定的报文。
连贯 / 会话：负责创立连贯、会话，并解决协定中定义的各种行为，例如登录认证、音讯收发等。
音讯模型转换： 负责解决本网关与 MQTT PUB/SUB 音讯模型的兼容。例如，将 LwM2M 中的音讯转换为 EMQX 中带主题和 QoS 的音讯。

除了上述架构上的重构，EMQX 5.0 的网关还对 接入认证 和音讯收发 这类通用行为进行了对立。

网关对立应用 客户端信息 进行认证，客户端信息由网关在解决该客户端接入时创立的，其中：

无论哪种网关，其客户端信息都蕴含通用字段，例如 Client ID、Username、Password 等（即便该协定无该字段的定义，网关会为其设置适合的默认值）同样也包含 Peername、ProtoName、Peercert 等
每种网关也有其特定的客户端信息，例如 LwM2M 有 Endpoint Name 和 Life Time 等。

因而，在执行客户端认证时，此类通用的客户端字段和特有的字段都能够作为参数传递给认证器执行验证。

为了适配 MQTT 的 PUB/SUB 音讯模型，每类网关都必须实现对这种音讯模型的兼容，以达到互相通信的目标。对于 PUB/SUB 类型的协定网关，例如 MQTT-SN、STOMP 通常定义了主题和音讯负载的概念，则：

间接应用客户端指定的主题和音讯内容
抉择一个适合的值作为音讯的 QoS。

但对于非 PUB/SUB 类型的协定，它短少对主题、公布、订阅等概念的定义，则：

须要为其指定音讯主题。例如 LwM2M 网关，用户能够配置各个类型音讯的主题。
须要为其设计音讯内容的格局。每种类型的网关都可能会应用不同的音讯格局。

EMQX 4.x 中每种类型设施都和 MQTT 应用雷同的认证链，这种耦合导致在配置认证器时，须要思考每种网关的异构状况：

在 EMQX 5.0，网关框架容许为每种类型的网关都配置专属于本人的认证器：

这个图改一下：只须要 MQTT 与 LwM2M 比照一下就行了，去掉 MQTT-SN 跟其余，将之前的认证器高低排布改为左右排布。

音讯模型转换不适用于已定义 PUB/SUB 等概念的网关。例如 MQTT-SN 协定曾经定了公布 / 订阅的行为，则 MQTT-SN 网关会：

将协定中的 PUBLISH 报文，作为音讯公布，其主题和 QoS 都由该报文指定。
将协定中的 SUBSCRIBE 报文，作为订阅操作，其主题和 QoS 都由该报文指定。
将协定的 UNSUBSCRIBE 报文，作为勾销订阅操作，其主题由该报文指定。

音讯模型转换也不适用于具备与 PUB/SUB 模型概念相近的网关。例如 STOMP 协定齐全兼容此音讯模型，则 STOMP 网关会：

将协定中的 SEND 报文作为音讯公布。其主题为 SEND 报文中的 destination 字段，音讯内容为 SEND 报文的音讯体内容，QoS 固定为 0。
将协定中的 SUBSCRIBE 报文作为订阅申请。其主题为 SUBSCRIBE 报文中的 destination 字段，QoS 固定为 0。且反对 MQTT 协定中定义的通配符。
将协定中 UNSUBSCRIBE 报文作为勾销订阅申请。其主题为 UNSUBSCRIBE 报文中的 destination 字段。

音讯模型转换仅实用于未定义 PUB/SUB 等概念的网关。例如 LwM2M 协定，则须要为其新增一些配置，来指定应用的主题格局，以及网关会内置一些规定来组织音讯内容的格局：

gateway.lwm2m {mountpoint = "lwm2m/${endpoint_name}/"

  translators {  
    // 上行命令主题。// 对于每个胜利上线的新 LwM2M 客户端，网关会创立一个订阅关系来接管上行音讯并将其发送给客户端
    command {
      topic = "dn/#"
      qos = 0
    }                                         

    // 用于公布来自 LwM2M 客户端的注册事件的主题                   
    register {
      topic = "up/register"
      qos = 0
    }
    ...                                   
  } 
}

则，如果一个 endpoint_name 为 epn1 的客户端上线后：

网关会为其代理订阅 lwm2m/epn1/dn/# 主题，以冀望接管上行的管制音讯
网关会将该客户端的 REGISTER 音讯，公布到 lwm2m/epn1/up/register 主题上。其音讯格局由 LwM2M 网关的定义的数据转换规则决定，例如 REGISTER 音讯的格局为：

{ "msgType": "register",                                                
  "data": {                                                             
    "ep": "epn1",                                            
    "lt": 6400,                                                
    "sms": "sms_no_example",                                                 
    "lwm2m": "1.2",          
    "objectList": ["1/0", "3/0", "19/0"]                                       
  }                                                                     
}

网关中无独立的主题受权治理，他们都集中于在 AuthZ 中。参考：受权

注：应用 PUB/SUB 模型转换的网关无需对其设置的主题配置权限，因为这类客户端的主题规定是强制性的。

EMQX 依赖钩子实现各种性能的扩大，例如高低线音讯、规定引擎的触发。因而，网关必须将关键性的事件公布到钩子上，以获取与 EMQX 其余性能的兼容。

在 v4.x，每种钩子的反对并没有标准，v5.0 中咱们对其进行了总结，以下为必须反对的钩子：

例如：

LwM2M 网关反对了 client.connected 钩子，因而规定引擎能够通过 $event/client_connected 拿到每个 LwM2M 设施的上线事件。
LwM2M 网关反对了 client.authenticate 钩子，因而 ExHook 能够通过挂载该钩子解决 LwM2M 的客户端的认证。

网关与 MQTT 客户端一样，也基于认证链散发认证申请，直到链上的某个认证器、插件或 ExHook 返回容许 / 回绝：

因而，同样能够通过 自定义认证插件或应用 ExHook 来扩大对认证的反对。每个认证器的语义可简写为：

fun authenticate(ClientInfo, LastAuthResult)  // 入参为：客户端信息、和上次认证器的执行后果
    -> {stop, NewAuthResult}                  // 返回状况 1：终止链执行，并返回新的认证后果
     | ignore                                 // 返回状况 2：疏忽，并继续执行链上的下一个认证器

注：所有协定都会将认证申请公布到该认证链上，所以须要通过 protocol、listener_id 等字段辨别客户端是来自于哪类网关和监听器

网关框架为所有的网关提供了对立的用户层接口，例如，能够应用网关的 HTTP API 达到：

对某网关的启用、进行和配置更新等
启用、敞开、更新某网关的认证器等
增加、删除、更新某网关的监听器等
查问、踢出某网关的客户端，或为某客户端增加、勾销订阅等

本文中仅提供一些简略示例，详情可参考官网文档：网关配置、网关 HTTP API

例 1，通过配置文件启用一个 STOMP 网关：

gateway.stomp {

  mountpoint = "stomp/"

  listeners.tcp.default {
    bind = 61613
    acceptors = 16
    max_connections = 1024000
    max_conn_rate = 1000
  }
}

例 2，通过 HTTP API 启用一个 MQTT-SN 网关：

curl -X 'POST' 'http://127.0.0.1:18083/api/v5/gateway' \
  -u admin:public \
  -H 'Content-Type: application/json' \
  -d '{"name":"mqttsn","enable": true,"gateway_id": 1,"mountpoint":"mqttsn/","listeners": [
    {
      "type": "udp",
      "bind": "1884",
      "name": "default",
      "max_conn_rate": 1000,
      "max_connections": 1024000
    }
  ]
}'

网关框架的全新降级为用户应用 EMQX 5.0 进行多协定设施接入带来了诸多便当，将来咱们还将在以下方面继续优化这一性能：

监控信息反对输入到 Prometheus 和 StatsD，以减少可观测性。
各个协定实现的标准化测试。
欠缺个性化治理接口、客户端信息。例如针对 LwM2M 设施的资源模型进行操作。
LwM2M 等 UDP 类型的协定接入，须要反对 NAT 网络下的会话辨认。一旦设施休眠后，因为 NAT 转换会导致 LwM2M 的设施唤醒后，到服务端的地址和端口产生了变动，因而应该设计某类机制来辨认这种变动。
为 ExProto 实现更轻量的设计，以升高 gRPC 的应用难度，进步运行效率。

通过全新网关框架实现多种协定的接入和对立治理，进一步晋升了 EMQX 的易用性。联合弱小的数据集成、安全可靠的认证受权，以及亿级的程度扩大能力等诸多劣势性能个性，各行业的物联网用户能够在多种业务场景中应用 EMQX 实现物联网实时数据的高效连贯、挪动与解决。

版权申明：本文为 EMQ 原创，转载请注明出处。

原文链接：https://www.emqx.com/zh/blog/emqx-connects-multiple-iot-protocols

关于物联网:EMQX-50-全新网关框架轻松实现多物联网协议接入

引言：对立治理的网关框架

EMQX 网关框架概述

网关通用行为规范

接入认证：客户端信息

音讯收发：PUB/SUB 音讯模型转换

EMQX 5.0 网关框架详解

客户端认证

音讯模型转换

公布订阅受权

钩子支持性

自定义认证

用户层接口

将来瞻望

结语

Just My Socks（注册教程内含优惠码）

关于物联网:EMQX-50-全新网关框架轻松实现多物联网协议接入

引言：对立治理的网关框架

EMQX 网关框架概述

网关通用行为规范

接入认证：客户端信息

音讯收发：PUB/SUB 音讯模型转换

EMQX 5.0 网关框架详解

客户端认证

音讯模型转换

公布订阅受权

钩子支持性

自定义认证

用户层接口

将来瞻望

结语

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）