共计 2671 个字符，预计需要花费 7 分钟才能阅读完成。
引言：全新的数据集成能力
为物联网平台与利用提供高性能的实时数据处理与集成，始终是 EMQX 最重要的能力之一。最新公布的 EMQX 5.0 针对数据集成相干性能进行了深度的重构和优化，以期帮忙用户更加轻松灵便地应用。
EMQX 5.0 将 Webhook、数据存储 / 桥接插件整合到一起，应用对立接口来治理南北向数据流，用户在原有数据采集上报场景进行规定解决的根底上，还可实现通过规定解决云端到设施的南向音讯。
同时，EMQX 5.0 还提供了数据集成可视化查看能力（Flows）。通过 Dashboard 页面，用户能够清晰看到物联网数据如何通过规定解决，以及数据如何流向内部数据服务或设施。
后续版本还将反对在 Dashboard 上以拖拽的形式编排规定和数据桥接（Flow Editor），通过可视化界面将物联网硬件数据流轻松连贯在一起。
本文将为读者具体展现 EMQX 这一重要能力的价值与利用，以及 EMQX 5.0 中对其进行了哪些降级优化。
什么是数据集成
EMQX 数据集成即 4.x 版本中的规定引擎与桥接性能的组合。它是在公布订阅模型根底之上的数据处理与散发组件，通过简略、可视化的配置，即可将 音讯流 、 设施事件 与 Kafka、RabbitMQ 等消息中间件以及各类 SQL / NoSQL / 时序数据库等数据系统集成。
EMQX 实时、简洁、高效的数据集成计划次要通过 规定 与数据桥接 两个性能实现。
规定用于音讯和事件数据的解决，通过 SQL 语法联合内置或用户扩大的自定义函数，实现诸如数据格式转换、音讯编解码、业务逻辑解决等操作。对于规定的详细信息，请参见规定。
数据桥接用于对接数据系统，在 EMQX 和内部零碎之间实现双向、高性能的数据数据挪动。通过数据桥接，用户能够实时地将音讯从 EMQX 发送到内部数据系统，或者从内部数据系统拉取数据并发送到 EMQX 的某个主题。对于数据桥接的详细信息，请参见数据桥接。
为什么须要数据集成
MQTT 协定被设计用于硬件设施到服务器的消息传递，而要实现残缺的物联网利用，则须要将设施与业务零碎连接起来，实现上报数据的云端存储与业务指令的下发。
传统的物联网利用开发中，实现这一目标须要开发人员编写对应的代码，之后的业务变更则须要对整个利用进行降级。而设施端、业务平台端往往都是独立团队经营，如何实现设施端和云端业务平台解耦并高效实现业务对接是我的项目是否疾速交付并降级迭代的要害。
EMQX 数据集成即旨在解决这一问题。通过提供灵便低代码的配置能力，帮忙用户轻松上手，疾速实现各类利用集成与业务翻新。
通过多年来在各行业物联网利用场景中的落地实际，EMQX 数据集成能力曾经成为构建整体利用的必备要害性能，继续为用户发明价值。
双向数据流：数据上报与音讯下发均反对规定解决
物联网利用中设施与业务零碎之间的数据通常都是双向的，既有数据采集上报的场景，也有云端音讯下发的需要，两者联合独特实现残缺的业务流程。
在此前版本中，EMQX 的规定是通过设施的音讯和事件触发执行的。这就意味着规定仅能用于数据采集上报场景，云端到设施的音讯下发场景则无奈间接应用规定的数据处理能力。用户须要应用直达计划将数据先发送到 EMQX 某个主题中，再通过规定进行解决。
EMQX 5.0 对此进行了优化：提供了双向数据桥接能力——除了将设施数据桥接至内部零碎外，还能从内部数据系统如另一个 MQTT 服务、Kafka 中桥接数据至 EMQX，并通过规定解决后发送到指定设施。
双向数据流的数据桥接在云端下发场景解耦了业务零碎与 EMQX 连贯，可能实现继续的大规模音讯下发与实时处理，为物联网业务开发提供了更多的可能性。
Flow Editor：通过可视化编排规定解决数据流
在之前的版本中，EMQX 的数据集成是通过配置 SQL + 规定动作的形式实现的，这种模式有以下益处：
- SQL 语法在数据库畛域广泛应用，有技术背景的用户能够很快上手并在短时间内把握写出简单规定；
- SQL 规定相比编码有更好的可浏览性，且可能在运行时创立、变更，适宜疾速变动的业务。
围绕 SQL 的数据集成与数据处理形式能够让用户疾速开发实现所需业务，但也带来了一些问题：
- 技术人员须要先相熟 EMQX 规定 SQL 语法能力开始编写业务，而对于非技术人员，SQL 不够直观，上手应用门槛较高；
- 应用 SQL 无奈实现一些简单的场景，例如在同一条规定中依据条件将数据散发到不同数据桥接，这将导致用户不得不创立多条类似的规定；
- 无奈在不批改 SQL 的状况下减少一个事件以复用同一条规定；
- 规定较多的状况下无奈提供清晰的数据处理与集成流程，很难保护和治理。
在 EMQX 5.0 中，咱们通过可视化查看能力（Flows）优先解决了多个规定下数据集成难以保护和治理的问题。通过 Dashboard 页面，用户能够清晰看到物联网数据如何通过规定解决并流向内部数据系统或是从内部数据系统经规定解决后散发到设施的数据集成拓扑，并监控这一链路中任意规定或数据桥接节点的状态。
后续版本中，咱们将在 EMQX 上内置一个具备可视化编排能力的数据流编辑器 — Flow Editor。它基于浏览器应用并搭配底层的执行引擎，将容许用户在 EMQX Dashboard 上以拖拽的形式自在编排规定和数据桥接。通过可视化界面将物联网硬件数据流轻松连贯在一起，实现更灵便、疾速的物联网业务开发与交付。
数据集成降级指南：从 v4 迁徙到 v5
EMQX 5.0 规定 SQL 齐全兼容 4.x 版本的语法，然而在设计上将原属于规定下的动作拆分为内置动作（音讯重公布、控制台输入）与数据桥接（Webhook、MQTT Bridge），以便实现规定与数据桥接的复用。
除了架构设计之外，EMQX 还对旧版本中数据集成相干性能进行了整合。在 4.x 版本的规定引擎性能推出之前，用户能够应用插件实现简略的数据集成。出于兼容性思考，规定引擎推出之后咱们没有移除这些插件，这带来了肯定的性能碎片化状况。
EMQX 5.0 正式移除了相干的插件，以便为用户提供更加清晰且残缺的数据集成能力，升高学习和抉择的难度。
以下为 EMQX 开源版 4.x 降级到 5.0 性能变动对照关系：
结语
在各行业构建物联网平台与利用的过程中，依据需要对海量数据进行精确、实时的解决，与各类下层业务零碎利用对接，是必不可少的环节和挑战。作为一个可「随处运行、有限连贯、任意集成」的物联网 MQTT 音讯服务器，EMQX 将通过弱小易用且不断完善的数据集成能力，帮忙用户轻松利用数据处理难题，实现业务翻新。
版权申明：本文为 EMQ 原创，转载请注明出处。
原文链接：https://www.emqx.com/zh/blog/iot-data-integration