关于持久化:Xline-v030-一个用于元数据管理的分布式KV存储

40次阅读

共计 1369 个字符,预计需要花费 4 分钟才能阅读完成。

Xline 是什么?咱们为什么要做 Xline?

Xline 是一个基于 Curp 协定的,用于治理元数据的分布式 KV 存储。现有的分布式 KV 存储大多采纳 Raft 共识协定,须要两次 RTT 能力实现一次申请。当部署在单个数据中心时,节点之间的提早较低,因而不会对性能产生大的影响。然而,当跨数据中心部署时,节点之间的提早可能是几十或几百毫秒,此时 Raft 协定将成为性能瓶颈。Curp 协定就是为了解决这个问题而设计的。它能够在命令不抵触的状况下缩小一个 RTT,从而进步性能。因而,Xline 旨在实现高性能的数据拜访和跨数据中心场景下的强一致性。

V0.3.0 版本有什么新性能?

本版本次要改变为引入一个长久化层的内容,因为自身改变比拟大,故独自提取一个版本进去,新版本的改良蕴含以下内容:

特点:

  • 实现一个长久化存储层,以实现持久性,包含:

    • 实现一个存储引擎层来形象出具体的存储引擎,比方 rocksdb,并启用下层存储性能(#185, #187)。
    • 启用 Curp 和 Xline 的复原机制(#194, #184)。

修复 bug:

  • 修复并发的 cmd 程序谬误(#197)

因为此前的存储都于内存中实现,因而如果过程解体了,数据恢复须要较长时间。基于此方面的考量,Xline 当初引入一个长久化层,会将数据存储到磁盘上。同样,基于此前收到的“建设在内存根底上的性能测试是否具备说服力”的质疑,通过认真考量,咱们决定在此基础上做一个 benchmark,后果预计会于 v0.3.1 中展现。

欢送参加到 Xline 我的项目中

咱们欢送任何对于 Xline 的踊跃奉献。目前在 GitHub 上有些工作并不需要深刻理解 Curp 协定或 Xline 这个我的项目,只须要理解 API 和 Rust 语言即可。即便您现处于入门阶段,并想要在开源我的项目中应用 Rust 语言,社区也会提供领导和帮忙,来疏导您更好地参加我的项目。Xline 的建设须要每一位对此感兴趣且违心付出的你们的参加,咱们期待你们的退出。

相干链接

  • GitHub: https://github.com/datenlord/Xline
  • Curp 相干论文: https://www.usenix.org/system/files/nsdi19-park.pdf
  • Curp 相干文章: https://medium.com/@datenlord/curp-revisit-the-consensus-prot…
  • Xline 官网:www.xline.cloud

往期浏览举荐

Xline v0.2.0: 一个用于元数据管理的分布式 KV 存储
DatenLord | Xline Geo-distributed KV Storage

对于咱们

达坦科技(DatenLord) 专一下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台 DatenLord,通过软硬件深度交融的形式买通云云壁垒,实现无限度跨云存储、跨云联通,建设海量异地、异构数据的对立存储拜访机制,为云上利用提供高性能平安存储反对。以满足不同行业客户对海量数据跨云、跨数据中心高性能拜访的需要。
公众号:达坦科技 DatenLord
知乎账号:https://www.zhihu.com/org/da-tan-ke-ji
B 站:https://space.bilibili.com/2017027518

正文完
 0