日期:2020/8/4
Kuiper 团队发表公布 Kuiper 0.9.0
Kuiper 0.9.0 能够从这里下载。
EMQ X Kuiper 是 Golang 实现的轻量级物联网边缘剖析、流式解决开源软件,能够运行在各类资源受限的边缘设施上。Kuiper 设计的一个次要指标就是将在云端运行的实时流式计算框架(比方 Apache Spark,Apache Storm 和 Apache Flink 等)迁徙到边缘端。Kuiper 参考了上述云端流式解决我的项目的架构与实现,联合边缘流式数据处理的特点,采纳了编写基于 源 (Source)
,SQL (业务逻辑解决)
, 指标 (Sink)
的规定引擎来实现边缘端的流式数据处理。
Kuiper 的利用场景包含:运行在各类物联网的边缘应用场景中,比方工业物联网中对生产线数据进行实时处理;车联网中的车机对来自汽车总线数据的即时剖析;智能城市场景中,对来自于各类城市设施数据的实时剖析。通过 Kuiper 在边缘端的解决,能够晋升零碎响应速度,节俭网络带宽费用和存储老本,以及进步零碎安全性等。
网址:https://www.emqx.io/products/…
Github 仓库:https://github.com/emqx/kuiper
概览
Kuiper 0.9.0 版本是一个重大的版本,蕴含了对流状态,KubeEdge 设施模型接入、EdgeX 数组类型反对和 TDengine 数据库存储等大性能的反对。
性能及问题修复
-
状态治理性能反对。该性能让 Kuiper 实现了有状态的流:
- 反对容错解决,在流处理过程中如果出现意外中断的时候,流解决在规定重启后能够复原;
- 反对检查点的实现 (Checkpointing),该性能能够让用户在流处理过程中实现 QoS 的设置,包含 At-most-once(0),At-least-once(1) 和 Exactly-once(2);
- 从指定的数据偏移处 (offset) 生产数据,用户能够扩大相干的接口来实现可从新生产数据的数据源,从而实现离线、或者在流解决呈现谬误的时候能够从新复原;
- 可配置的状态长久化存储。零碎缺省将状态存储在文件系统中,也反对将状态数据存储在第三方的数据库中,比方 Redis 等;
- 反对用户在扩大源、指标和函数的时候,调用 Kuiper 提供的接口实现自定义的状态数据的存储;
- 提供了 KubeEdge 数据模型的接入反对,以及一个主动执行通过 Kubernetes configmap 下发配置文件的工具。用户能够应用 Kuiper 能够间接反对剖析来自于 KubeEdge 的设施数据进行剖析;
- 减少了 TDengine 插件,能够反对将剖析后果保留到 TDengine 时序数据库中;
- 翻译和同步了所有的中文文档;
- 优化了 Github Action 中 FVT 的执行流程,删除了一些不必要的测试过程;
- 减少了 RPM & APT 安装包的反对;
- 窗口中
filter
过滤数据的反对,实现对数据先进行过滤,而后进行窗口分组;这个性能对于计数窗口比拟重要:与通过 WHERE 语句过滤,而后再进行窗口分组的后果会不一样;
感激
- @chensheng0 提供了 Kubernetes configmap 的修复,能够与百度 Baetyl 框架进行集成
- @GZJ 提供了 Kuiper 退出时能清理现场的修复
- @smart33690 提供 Influxdb sink 样例插件的修复
Kuiper 2020 里程碑
2020 年 Kuiper 我的项目将继续疾速倒退,包含欠缺更多的性能、与边缘开源社区更多我的项目的集成,以及退出更多的继续集成测试,进步软件品质等。次要内容如下,
- EdgeX Hanoi 版本集成(Q3):Kuiper 将反对 EdgeX 中新退出的数组数据类型;以及反对通过 EdgeX UI 来治理 Kuiper 的流、规定等,用户在应用 Kuiper 的时候更加不便
- KubeEdge 集成(Q3/Q4):通过扩大 Device Model,应用 Kuiper 实现对于旁路(bypass)设施数据进行荡涤、缓存和重传等性能
- State 治理(Q3):Kuiper 将提供内置 State 反对,并反对容错复原等性能,Kuiper 通过此性能将实现长时间窗口解决所需的长久化反对,另外也能够让用户在扩大插件过程中,通过 API 调用实现对自定义状态数据的存储
- Kuiper 1.0.0(Q3/Q4)公布:1.0.0 版本将于 2020 年 Q3 或者 Q4 公布
您能够点击 Kuiper 2020 里程碑获取更加具体的信息,以及最新的更新。
分割
如果对 Kuiper 有任何问题,请随时通过 contact@emqx.io 与咱们分割。
版权申明:本文为 EMQ 原创,转载请注明出处。
原文链接:https://www.emqx.io/cn/news/release-notes-kuiper-0-9-0