关于物联网:HStreamDB-Newsletter-202205|去中心化集群机制全新数据集成框架新增客户端与部署方式

36次阅读

共计 1773 个字符,预计需要花费 5 分钟才能阅读完成。

本月,HStreamDB 团队正式公布了 v0.8,并启动了 v0.9 的开发工作,v0.9 将在集群、内部系统集成、分区等方面带来重大改良。本月咱们次要实现了新的集群机制和数据集成框架 HStream IO 的设计和初步开发工作,并启动了新的 Python 客户端开发。同时正式公布了 Erlang 客户端的 0.1 版本,以及新增了 Helm 和阿里云的部署反对。

HServer 集群机制改良

在 v0.8 以及之前版本,HServer 集群次要采纳的是基于 ZooKeeper 的中心化集群机制,通过 ZooKeeper 来做 HServer 节点的注册和发现以及节点之间的协调等,各个 HServer 节点之间不进行间接通信。这种集群计划被大量分布式系统采纳,绝对比拟成熟,次要的毛病是须要依赖像 ZooKeeper 这样的内部零碎,不够灵便,而且扩展性方面也有一些限度。

为了反对更大的集群和更好的扩展性,以及缩小对外部零碎的依赖,v0.9 将采纳去中心化的集群机制,新的集群计划将次要基于 SWIM[1] 论文,其外围包含一套高效的 failure dectation 算法和 gossip style 的集群音讯流传机制,相似的计划曾经利用在 Consul、Cassandra 等分布式系统中。目前新集群相干性能还在研发过程中,将在 v0.9 正式公布。

全新数据集成框架 HStream IO

为了满足多种不同的业务需要,目前企业外部往往存在多套数据系统或者数据平台,包含但不限于:在线事务库、离线剖析库、缓存零碎、搜寻零碎、批处理零碎、实时处理零碎、数据湖等等。HSteamDB 在专一于精简和重塑实时数据栈的同时,作为一个新兴的流数据库,也肩负着促成数据在整个数据栈内高效流转以及推动企业数据栈现代化和实时化的使命,因而无缝对接和集成泛滥内部零碎的能力对于 HStreamDB 来说也十分重要。

HStream IO 是 HStreamDB 外部的数据集成框架,它蕴含 source connectors、sink connectors、IO Runtime 等组件,可能将内部零碎的数据通过 source connectors 导入到 HStreamDB,也能够通过 sink connectors 将 HStreamDB 内的数据导出给内部零碎。另外值得注意的是,HStream IO 将基于 Airbyte spec 来实现,这象征者咱们将可能齐全复用 Airbyte 社区的大量开源 connectors,疾速实现将 HStreamDB 和任意系统集成。本月 HStream IO 曾经实现设计和后期开发工作,并将在 v0.9 中正式公布。

客户端更新

新增 Python 客户端

本月咱们也启动了 HStreamDB 的 Python 客户端 hstreamdb-py 的研发工作,反对 Python3.7 及以上版本,并将于下月正式公布。

hstreamdb-erlang v0.1 公布

本月 HStreamDB 的 Erlang 客户端 hstreamdb-erlang 正式公布 v0.1,具体应用可参考 https://github.com/hstreamdb/…

部署形式更新

新增基于 Helm 的部署反对

Helm (https://helm.sh/) 可能帮忙用户更容易的装置和治理 K8s 利用,本月 HStreamDB 也提供了基于 Helm 的部署反对,具体可参考文档 https://hstream.io/docs/en/la…

新增阿里云 Terraform 部署反对

此前咱们提供了基于 Terraform 在 AWS 和 华为云上部署 HStreamDB 的教程,本月咱们又新增了对阿里云的部署反对,具体可参考文档 https://hstream.io/docs/zh/la…

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

版权申明:本文为 EMQ 原创,转载请注明出处。

原文链接:https://hstream.io/zh/blog/hstreamdb-newsletter-202205

正文完
 0