关于消息中间件:自建MQTT迁移IoT物联网平台实战实践类

自建MQTT迁徙IoT物联网平台实战

前言

随着业务增长，自建MQTT集群保护老本越来越高，连贯稳定性，音讯时延一直遇到下层业务挑战，迁徙阿里云IoT物联网平台是十分理智的最佳抉择。

现有业务背景

企业基于自建MQTT集群的数据交互如下图：

设施端publish业务数据到MQTT集群，流转到后端业务服务器解决；业务服务器把指令公布到MQTT集群，触达到设施端。具体业务数据定义如下：

架构计划

当咱们从本人MQTT集群迁徙到IoT物联网平台，咱们能够采纳以下技术计划，实现低成本的疾速迁徙，缩小设施端和业务零碎的革新。

IoT设施迁徙上云三步走：

设施做固件降级，批改接入域名为IoT平台Endpoint
调整现有通信topic为IoT物联网平台产品自定义Topic
配置规定引擎，把设施数据流转到服务端订阅AMQP生产组，业务服务器实时接管到设施数据

设施迁徙上云实战

创立产品

首先，咱们接入物联网平台控制台，左侧栏抉择产品，创立新产品：充电宝机柜。如下图：

所属品类：自定义品类
节点类型：直连设施
连网形式：WiFi （这里能够依据理论状况抉择）
数据格式：ICA 规范数据格式 JSON（这里也能够选透传/自定义）

而后，把现有零碎业务Topic映射到自定义通信的Topic类，如下表：

最初，咱们接入产品详情，抉择Topic类列表，点击自定义Topic，增加Topic如下图：

至此，咱们实现了在IoT物联网平台的产品创立和通信定义。

注册设施
咱们基于产品，创立一个具体设施，获取到设施身份认证信息（三元组），如下图：

数据流转配置
当咱们创立实现产品，注册好设施之后，就须要在IoT平台配置数据流转计划了。

服务端订阅AMQP生产组
首先，咱们要在控制台的服务端订阅，创立咱们充电宝业务的AMQP生产组，用来生产设施生成的数据。如下图：

而后，咱们进入生产组详情，查看生产组状态。因为咱们设施端和服务端都没有连贯到平台，数据都是为空。如下图：

规定引擎
接下来咱们要做的是配置规定引擎解决数据，并流转到已创立的生产组上。

咱们抉择云产品流转，点击创立规定，抉择二进制格局（二进制泛指非JSON构造数据）。如下图：

而后，咱们编写SQL，让IoT物联网平台解决设施数据，并携带设施信息。如下图：

SELECT deviceName() as deviceName,timestamp() as timestamp ,payload() as payload FROM "/a********E/+/user/data/up"

接下来，咱们增加数据转发操作到指定的AMQP生产组，如下图：

残缺的规定引擎配置如下图所示：

最初，咱们在规定引擎列表，启动规定。如下图：

设施开发
在实现了云上控制台的配置工作后，咱们要做的就是设施端业务开发。这里咱们在Mac上用nodejs脚本模仿设施业务行为，设施MQTT连贯，数据上报，指令接管。
残缺代码如下：

// 引入依赖mqtt库，或本人实现const mqtt = require('aliyun-iot-mqtt');// 设施身份var options = {    productKey: "设施pk",    deviceName: "设施dn",    deviceSecret: "设施ds",    regionId: "cn-shanghai"};// 1.建设连贯const client = mqtt.getAliyunIotMqttClient(options);// 2.设施接管云端指令数据client.on('message', function(topic, message) {    console.log("topic " + topic)    console.log("message " + message)})// 3. 设施订阅指令的Topicclient.subscribe(`/${options.productKey}/${options.deviceName}/user/cmd/down`)// 4. 模仿设施 上报数据（原始报文）setInterval(function() {    client.publish(`/${options.productKey}/${options.deviceName}/user/data/up`, getPostData(),{qos:1});}, 1000);// 模仿 设施原有报文格式function getPostData() {    let payload = "DE02,"+Math.floor((Math.random() * 20) + 10)    +","+Math.floor((Math.random() * 20) + 10)    +",011101010,am024,1d478f";    console.log("payload=[ " + payload+" ]")    return JSON.stringify(payload);}

至此，咱们实现了设施端业务开发。

服务端开发
服务端咱们以Java为例，演示设施数据接管和控制指令的下发。

业务服务器接管设施数据
参考服务端订阅AMQP文档 https://help.aliyun.com/document_detail/143601.html
残缺代码如下：

package com.aliyun.iot;import org.apache.commons.codec.binary.Base64;import org.apache.qpid.jms.JmsConnection;import org.apache.qpid.jms.JmsConnectionListener;import org.apache.qpid.jms.message.JmsInboundMessageDispatch;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import javax.crypto.Mac;import javax.crypto.spec.SecretKeySpec;import javax.jms.*;import javax.naming.Context;import javax.naming.InitialContext;import java.net.URI;import java.util.Hashtable;public class AMQPClient {    private final static Logger logger = LoggerFactory.getLogger(AMQPClient.class);    public static void main(String[] args) throws Exception {        //参数阐明，请参见上一篇文档：AMQP客户端接入阐明。        String accessKey = "阿里云账号ak";        String accessSecret = "阿里云账号as";        String consumerGroupId = "服务端订阅生产组ID";        long timeStamp = System.currentTimeMillis();        //签名办法：反对hmacmd5，hmacsha1和hmacsha256        String signMethod = "hmacsha1";        //控制台服务端订阅中生产组状态页客户端ID一栏将显示clientId参数。        //倡议应用机器UUID、MAC地址、IP等惟一标识等作为clientId。便于您辨别辨认不同的客户端。        String clientId = "ecs_"+System.currentTimeMillis();        //UserName组装办法，请参见上一篇文档：AMQP客户端接入阐明。        String userName = clientId + "|authMode=aksign"                + ",signMethod=" + signMethod                + ",timestamp=" + timeStamp                + ",authId=" + accessKey                + ",consumerGroupId=" + consumerGroupId                + "|";        //password组装办法，请参见上一篇文档：AMQP客户端接入阐明。        String signContent = "authId=" + accessKey + "&timestamp=" + timeStamp;        String password = doSign(signContent,accessSecret, signMethod);        //依照qpid-jms的标准，组装连贯URL。        String connectionUrl = "failover:(amqps://替换你的阿里云账号UID.iot-amqp.cn-shanghai.aliyuncs.com:5671?amqp.idleTimeout=80000)"                + "?failover.reconnectDelay=30";        Hashtable<String, String> hashtable = new Hashtable<>();        hashtable.put("connectionfactory.SBCF",connectionUrl);        hashtable.put("queue.QUEUE", "default");        hashtable.put(Context.INITIAL_CONTEXT_FACTORY, "org.apache.qpid.jms.jndi.JmsInitialContextFactory");        Context context = new InitialContext(hashtable);        ConnectionFactory cf = (ConnectionFactory)context.lookup("SBCF");        Destination queue = (Destination)context.lookup("QUEUE");        // Create Connection        Connection connection = cf.createConnection(userName, password);        ((JmsConnection) connection).addConnectionListener(myJmsConnectionListener);        // Create Session        // Session.CLIENT_ACKNOWLEDGE: 收到音讯后，须要手动调用message.acknowledge()        // Session.AUTO_ACKNOWLEDGE: SDK主动ACK（举荐）        Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);        connection.start();        // Create Receiver Link        MessageConsumer consumer = session.createConsumer(queue);        consumer.setMessageListener(messageListener);    }    private static MessageListener messageListener = new MessageListener() {        @Override        public void onMessage(Message message) {            try {                byte[] body = message.getBody(byte[].class);                String content = new String(body);                String topic = message.getStringProperty("topic");                String messageId = message.getStringProperty("messageId");                logger.info("receive message"                        + ", topic = " + topic                        + ", messageId = " + messageId                        + ", content = " + content);                System.out.println();                //如果创立Session抉择的是Session.CLIENT_ACKNOWLEDGE，这里须要手动ACK。                //message.acknowledge();                //如果要对收到的音讯做耗时的解决，请异步解决，确保这里不要有耗时逻辑。            } catch (Exception e) {                e.printStackTrace();            }        }    };    private static JmsConnectionListener myJmsConnectionListener = new JmsConnectionListener() {        /**         * 连贯胜利建设。         */        @Override        public void onConnectionEstablished(URI remoteURI) {            logger.info("onConnectionEstablished, remoteUri:{}", remoteURI);        }        /**         * 尝试过最大重试次数之后，最终连贯失败。         */        @Override        public void onConnectionFailure(Throwable error) {            logger.error("onConnectionFailure, {}", error.getMessage());        }        /**         * 连贯中断。         */        @Override        public void onConnectionInterrupted(URI remoteURI) {            logger.info("onConnectionInterrupted, remoteUri:{}", remoteURI);        }        /**         * 连贯中断后又主动重连上。         */        @Override        public void onConnectionRestored(URI remoteURI) {            logger.info("onConnectionRestored, remoteUri:{}", remoteURI);        }        @Override        public void onInboundMessage(JmsInboundMessageDispatch envelope) {}        @Override        public void onSessionClosed(Session session, Throwable cause) {}        @Override        public void onConsumerClosed(MessageConsumer consumer, Throwable cause) {}        @Override        public void onProducerClosed(MessageProducer producer, Throwable cause) {}    };    /**     * password签名计算方法，请参见上一篇文档：AMQP客户端接入阐明。     */    private static String doSign(String toSignString, String secret, String signMethod) throws Exception {        SecretKeySpec signingKey = new SecretKeySpec(secret.getBytes(), signMethod);        Mac mac = Mac.getInstance(signMethod);        mac.init(signingKey);        byte[] rawHmac = mac.doFinal(toSignString.getBytes());        return Base64.encodeBase64String(rawHmac);    }}

业务服务器下发控制指令参考云端API文档 https://help.aliyun.com/document_detail/69793.html
残缺代码如下：

package com.aliyun.iot;import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import com.aliyuncs.iot.model.v20170420.PubRequest;import com.aliyuncs.iot.model.v20170420.PubResponse;import com.aliyuncs.profile.DefaultProfile;import com.google.gson.Gson;public class PubClient {    public static void main(String[] args) {        DefaultProfile profile = DefaultProfile.getProfile(                "cn-shanghai",                "替换你的ak",                "替换你的as");        IAcsClient client = new DefaultAcsClient(profile);        PubRequest request = new PubRequest();        request.setTopicFullName("/替换设施pk/替换设施dn/user/cmd/down");        request.setMessageContent("Q01ELDgyOTIzLGFkMzIyCiA=");//原始报文 : CMD,82923,ad322        request.setProductKey("替换设施pk");        request.setQos(1);        try {            PubResponse response = client.getAcsResponse(request);            System.out.println(new Gson().toJson(response));        } catch (ClientException e) {            System.out.println("ErrCode:" + e.getErrCode());            System.out.println("ErrMsg:" + e.getErrMsg());            System.out.println("RequestId:" + e.getRequestId());        }    }}

至此，咱们实现了服务端业务开发。

整体运行
在实现以上业务开发之后，咱们先启动服务端程序和IoT物联网平台建设连贯，而后启动设施端模仿脚本。

设施上报数据
设施端日志：在设施端日志，咱们看到打印进去的业务报文如下：

服务端日志：
在设施打印进去日志同时，咱们能看到服务端实时在打印从IoT物联网平台获取到的音讯数据，如下图：

此时，咱们在物联网平台控制台，生产组详情里，也能看到音讯解决速率，沉积量，最初一条音讯解决工夫，以及服务端ecs的列表。如下图：

日志服务
在阿里云IoT的控制台日志服务里，咱们能够查看设施行为日志：

在日志服务的上行音讯剖析里，能够查看音讯详情，包含Topic和Payload。

也能够跟踪上行音讯的流转过程，如下图：

服务端下发控制指令
咱们在服务端执行Pub接口调用，像设施下发控制指令。如下图：

此时，设施端会实时打印进去指令信息，如下图：

同样，咱们能够在控制台的日志服务，上行音讯剖析中，查看到指令音讯流转残缺过程，如下图：

至此，咱们在尽量少改变的前提下，实现了存量设施上云的迁徙工作。

官网流动
[1、挑战设施接入量，超低折扣+百万代金券等你拿
](https://developer.aliyun.com/article/739438?spm=a2c6h.1287363...)
[2、物联网平台企业版（包年包月），实例独享，数据隔离，万台设施接入低至9.5元/天
](https://common-buy.aliyun.com/?spm=a2c6h.12873639.article-det...)
[3、物联网平台公共实例，小规格套餐，每年18元，开发调试/小型我的项目交付必备
](https://common-buy.aliyun.com/?spm=a2c6h.12873639.article-det...,%22purchase_num%22:1,%22ord_time%22:%221:Year%22%7D)
[4、物联网平台公共实例，按用量购买，低至6折，过大年流动正在进行中
](https://common-buy.aliyun.com/?spm=a2c6h.12873639.article-det...)
5、更多服务

物联网平台产品介绍详情：https://www.aliyun.com/product/iot/iot_instc_public_cn

            阿里云物联网平台客户交换群